liunx環(huán)境要求
搭建平臺(tái)
搭建平臺(tái)CentOS6.4
Hadoop版本 Hadoop2.4.1
Java版本 java1.7
https://pan.baidu.com/s/1ck94gI 密碼：ofgb
準(zhǔn)備虛擬機(jī)網(wǎng)絡(luò)設(shè)置
打開VMware-->編輯-->虛擬網(wǎng)絡(luò)編輯器-->更改設(shè)備-->VMnet8-->設(shè)置子網(wǎng)為192.168.8.0，子網(wǎng)掩碼255.255.255.0-->NAT設(shè)置-->網(wǎng)關(guān)設(shè)為192.168.8.2-->確定
windows--> 打開網(wǎng)絡(luò)和共享中心 -> 更改適配器設(shè)置 -> 右鍵VMnet8 -> 屬性 -> 雙擊IPv4 -> 設(shè)置windows的IP：192.168.8.9 子網(wǎng)掩碼：255.255.255.0 網(wǎng)關(guān)：192.168.8.2-->確定
VMware -->我的計(jì)算機(jī) --> 選中CentOS --> 右鍵 --> 設(shè)置--> 網(wǎng)絡(luò)適配器--> NAT模式--> 確定
修改主機(jī)名
$ vim /etc/sysconfig/networ
NETWORKING=yes
HOSTNAME=master
修改IP
先試用命令查看本機(jī)網(wǎng)卡和ip
ifconfig
方法一：使用CentOS的圖形界面
右鍵點(diǎn)擊右上方的兩個(gè)小電腦 --> 點(diǎn)擊Edit connections -> 選中ifconfig顯示的網(wǎng)卡 -> 雙擊-> 選擇IPv4 -> Method設(shè)置為manual -> add -> IP：192.168.8.10 子網(wǎng)掩碼：255.255.255.0 網(wǎng)關(guān)：192.168.8.2 -> apply
方法二：修改配置文件方式
$ vim /etc/sysconfig/network-scripts/ifcfg-Auto_eth1
192.168.8.10
PREFIX=24
GATEWAY=192.168.8.2
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME="Auto eth1"
UUID=48636279-aad6-4432-bfbd-e06e3a25b5e7
ONBOOT=yes
HWADDR=00:0C:29:F7:12:1F
LAST_CONNECT=1514422930
添加主機(jī)名和IP的映射
$ vim /etc/hosts
192.168.8.10 master
關(guān)閉防火墻
$ service iptables status #查看防火墻狀態(tài)
$ service iptables stop #關(guān)閉防火墻
$ chkconfig iptables --list #查看防火墻開機(jī)啟動(dòng)狀態(tài)
$ chkconfig iptables off #關(guān)閉防火墻開機(jī)啟動(dòng)
重啟Centos
如果是單獨(dú)修改了ip時(shí)，我們需要重啟網(wǎng)卡
$ service network restart
安裝hadoop配置
安裝要求，使用普通用戶安裝hadoop，防止安裝時(shí)的權(quán)限問(wèn)題。
讓普通用戶具有sudo權(quán)限，先切換到root權(quán)限$ su # vim /etc/sudoers root ALL=（ALL） ALL 在后面加上一行 hadoop ALL=（ALL） ALL 如果root權(quán)限下還是不能修改`sudoers`文件，就為root賦予`sudoers`的寫入權(quán)限 ` # chmod 640 /etc/sudoers` 然后在修改`sudoers`文件
將java和hadoop上傳到CentOS桌面
java安裝
創(chuàng)建java安裝目錄
$ sudo mkdir /usr/java
解壓
$ sudo tar -zxvf jdk-7u65-linux-i586.tar.gz -C /usr/java/
$ cd /usr/java/ #進(jìn)入文件夾下
$ mv jdk1.7.0_65/ jdk1.7 ##修改名字
將java添加到環(huán)境
$ sudo vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.7 #在文件最后添加
export PATH=$PATH:$JAVA_HOME/bin
$ source /etc/profile #刷新配置
hadoop2.4.1 安裝
將hadoop安裝到/home/hadoop目錄下
解壓
$ tar -zxvf hadoop-2.4.1.tar.gz -C /home/hadoop/
修改hadoop配置
- hadoop-env.sh
$ sudo vim hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.7 #修改第27行
- core-site.xml
$ sudo vim core-site.xml
<property>
<name>fs.defaultFS</name>
<value>hdfs://mastar:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadoop2.4/tmp</value>
</property>
- hdfs-site.xml
$ sudo vim hdfs-site.xml
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
- mapred-site.xml
$ mv mapred-site.xml.template mapred-site.xml #修改名稱去掉 .template
$ vim mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
- yarn-site.xml
$ sudo vim yarn-site.xml
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
將hadoop添加到環(huán)境變量
$ sudo vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.7
export HADOOP_HOME=/home/hadoop/hadoop2.4
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
$ source /etc/profile
格式化namenode
$ hdfs namenode -format
($ hadoop namenode -format) 兩個(gè)命令都可以，執(zhí)行一次就行
執(zhí)行后查看倒數(shù)第五行
Exiting with status 1 則配置有問(wèn)題
Exiting with status 0 格式化成功
啟動(dòng)hadoop
$ start-all.sh
注：每次開啟hadoop后必須進(jìn)行關(guān)閉，關(guān)閉命令
$ stop-all.sh
查看hadoop啟動(dòng)情況
$ jps
4978 SecondaryNameNode
5120 ResourceManager
4804 NameNode
5382 Jps
4803 ResourceManager
5512 DataNode
查看HDFS管理界面能否訪問(wèn)
http://192.168.8.10:50070
查看MR管理界面能否訪問(wèn)
http://192.168.8.10:8088
配置ssh免登陸
$ cd ~/.ssh
$ ssh-keygen -t rsa #四個(gè)回車生成rsa
執(zhí)行l(wèi)s命令查看文件，可以看到兩個(gè)文件
id_rsa（私鑰） id_rsa.pub（公鑰）
將公鑰拷貝到要免登陸的機(jī)器上
ssh-copy-id master
ssh-copy-id localhost
