1. 安裝虛擬機(jī)

virtualbox和centos6.9
Centos6.9_x64百度網(wǎng)盤地址:https://pan.baidu.com/s/11RDISh4yB36lVcX_RROSdw
Mac版本的VirtualBox百度網(wǎng)盤下載:https://pan.baidu.com/s/1MaGt8HHP-QSxnkYaDCnQzg
JDK1.7_x64百度網(wǎng)盤下載:https://pan.baidu.com/s/1synxei5fFqsc29BV4RWHjg
Hadoop2.5.2百度網(wǎng)盤下載:https://pan.baidu.com/s/1pNX4hJge8m1DnXm1NOZ8xw

1、網(wǎng)卡配置設(shè)置成橋接網(wǎng)卡；

關(guān)閉防火墻service iptables stop
永久關(guān)閉防火墻關(guān)機(jī)重啟:chkconfig iptables off
關(guān)閉SELinux, 將SELINUX設(shè)置為disabled

vim /etc/selinux/config

2、Onboot

/etc/sysconfig/network-scripts/ifcfg-eth0文件中的onboot設(shè)置為yes

3、配置hosts

192.168.3.170 node1
192.168.3.169 node2
192.168.3.168 node3
192.168.3.167 node4

復(fù)制虛擬機(jī)后操作

1、修改hostname/etc/sysconfig/network和/etc/hosts

2、修改MAC地址/etc/sysconfig/network-scripts/ifcfg-eth0

3、刪除/etc/udev/rules.d/70-persistent-net.rules，然后重啟reboot

分配四臺虛擬機(jī)

其中分配node1為NameNode；node2為SecondaryNameNode和DataNode；node3和node4為DataNode。

2、 時(shí)間同步

時(shí)間可以從網(wǎng)上搜索ntp服務(wù)器(http://www.ntp.org.cn/pool.php)

$ yum install ntp -y
$ ntpdate -u [URL]

3、 安裝jdk1.7

 rpm -ivh jdk-7u67-linux-x64.rpm

在/etc/profile/配置JAVA_HOME

export JAVA_HOME=/usr/lib/jvm/jre-1.7.0-openjdk/
export PATH=$PATH:$JAVA_HOME/bin

4、配置免秘鑰

node1 到node1-node4

# node1上生成id_dsa.pub公鑰文件
ssh-keygen
# node1自身免秘鑰
ssh-copy-id root@node1
# 發(fā)送到node2-node4
ssh-copy-id root@node2
ssh-copy-id root@node3
ssh-copy-id root@node4

5、 node1上傳解壓Hadoop

# 解壓hadoop至home
tar -zxvf hadoop-2.5.2.tar.gz -c /home
# 在/etc/profile中配置
export HADOOP_HOME=/home/hadoop-2.5.2
export PATH=$PATH:$HADOOP_HOME/bin

6、 修改配置文件

6.1 hadoop-env.sh中的JAVA_HOME

? export JAVA_HOME=/usr/java/jdk1.7.0_67

6.2 core-site.xml

 <configuration>
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://node1:9000</value> <!-- 配置NN的ip和端口 -->
            </property>
            <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoop</value> <!-- 配置hadoop的臨時(shí)目錄 -->
            </property>
        </configuration>

6.3 hdfs-site.xml

<configuration>
            <property>
                <name>dfs.replication</name>
                <value>3</value> <!-- 配置block默認(rèn)副本數(shù) -->
            </property>
            <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>node2:50090</value><!-- 配置SNN的web-UI端口 -->
            </property>
        </configuration>

6.4 手動創(chuàng)建masters文件，指定SNN

位于$HADOOP_HOME/etc/hadoop/下

node2

6.5 手動創(chuàng)建slaves文件，指定DN

位于$HADOOP_HOME/etc/hadoop/下

node2
node3
node4

7、 同步配置文件

刪除share/doc可以減少文件占用

從node1中scp至node2-4

8、格式化NN

$ hdfs namenode -format

9、啟動start-dfs.sh

$ start-dfs.sh

10、測試是否成功

訪問web-ui:http://node1:50070

訪問SNN-web-ui:http://node2:50090