1.進(jìn)入linux創(chuàng)建目錄用來存放軟件與安裝(我這是普通用戶，非root用戶)
sudo mkdir -p /opt/tools
sudo mkdir -p /opt/modules
- 修改文件夾權(quán)限為flygar
sudo chown flygar: /opt/tools/
sudo chown flygar: /opt/modules/
連上Transmit,將下載好的hadoop-2.8.0.tar.gz，jdk-8u144-linux-x64.tar.gz拖入/opt/tools
ip與主機(jī)名映射
vim /etc/hosts
192.168.0.128 flygar
- 關(guān)閉防火墻
sudo chkconfig iptables off
- 關(guān)閉selinux
vim /etc/sysconfig/selinux
SELINUX=disabled
- 配置visudo(命令模式99gg的地方插入)
sudo visudo
flygar ALL=(root) NOPASSWD:ALL
2.安裝jdk
- 檢查并卸載自帶的openjdk
yum list installed | grep 'java'
java-1.6.0-openjdk.x86_64
java-1.7.0-openjdk.x86_64
tzdata-java.noarch 2012j-1.el6 @anaconda-CentOS-201303020151.x86_64/6.4
sudo yum remove java-1.6.0-openjdk.x86_64 -y
sudo yum remove java-1.7.0-openjdk.x86_64 -y
sudo yum remove tzdata-java.noarch -y
- 解壓并安裝到 /opt/modules
tar -zxvf /opt/tools/jdk-8u144-linux-x64.tar.gz -C /opt/modules/
- 配置環(huán)境變量
sudo chmod o+w /etc/profile
vim /etc/profile
export JAVA_HOME=/opt/modules/jdk1.8.0_144
export PATH=$JAVA_HOME/bin:$PATH
- 刷新環(huán)境變量
source /etc/profile
3.安裝hadoop
- 解壓并安裝到 /opt/modules
tar -zxvf /opt/tools/hadoop-2.8.0.tar.gz -C /opt/modules/
- 修改配置jdk
Transmit連接找到 /opt/modules/hadoop-2.8.0/etc/hadoop/hadoop-env.sh 鼠標(biāo)右鍵Edit in Transmit 第25行修改為絕對路徑：export JAVA_HOME=/opt/modules/jdk1.8.0_144保存并退出
Transmit連接找到 /opt/modules/hadoop-2.8.0/etc/hadoop/mapred-env.sh 鼠標(biāo)右鍵Edit in Transmit 第16行修改為(#刪掉)：export JAVA_HOME=/opt/modules/jdk1.8.0_144 保存并退出
Transmit連接找到 /opt/modules/hadoop-2.8.0/etc/hadoop/yarn-env.sh 鼠標(biāo)右鍵Edit in Transmit 第26行修改為絕對路徑：JAVA_HOME=/opt/modules/jdk1.8.0_144 保存并退出
-
修改配置HDFS
Transmit連接進(jìn)入 /opt/modules/hadoop-2.8.0/etc/hadoop/
修改core-site.xml
指定訪問地址與存儲目錄把flygar修改為你的hostname
修改hdfs-site.xml
指定保存副本文件個(gè)數(shù)為1指定保存副本文件個(gè)數(shù)為1
修改slaves
刪除第一行的loaclhost，換成你的hostname
4.格式化
/opt/modules/hadoop-2.8.0/bin/hdfs namenode -format
5.修改配置yarn
重命名 mapred-site.xml.templatable 為 mapred-site.xml 并修改指定mapreduce運(yùn)行在yarn上
修改yarn-site.xml指定yarn運(yùn)行使用mapreduce_shuffle
6.啟動(dòng)服務(wù)
/opt/modules/hadoop-2.8.0/sbin/hadoop-daemon.sh start namenode
/opt/modules/hadoop-2.8.0/sbin/hadoop-daemon.sh start datanode
/opt/modules/hadoop-2.8.0/sbin/yarn-daemon.sh start resourcemanager
/opt/modules/hadoop-2.8.0/sbin/yarn-daemon.sh start nodemanager
jps
3907 Jps
3875 NodeManager
3638 NameNode
3419 ResourceManager
3692 DataNode
7.test
50070successful
8088
successful
