久久久蜜桃一区,九九九九伊人

軟件準(zhǔn)備

VMware-Fusion-8.0.0-2985594.dmg
ubuntu-14.04.4-desktop-amd64.iso

集群機(jī)器準(zhǔn)備

在VMware Fusion中安裝三臺虛擬機(jī)，如下：

在安裝三臺虛擬機(jī)的時(shí)候，創(chuàng)建專門用于 Hadoop 集群管理的用戶 hadoop，為了管理方便，密碼可以簡單設(shè)置為 hadoop。

三臺機(jī)器的名稱和IP地址如下：

主機(jī)名稱	IP地址
master	192.168.109.137
slave01	192.168.109.139
slave02	192.168.109.138

修改三臺機(jī)器的 /etc/hosts 文件，配置如下：

  127.0.0.1 localhost
  192.168.109.137 master
  192.168.109.139 slave01
  192.168.109.138 slave02

可以使用 ping 命令測試三臺機(jī)器的連通性。

配置 ssh 無密碼訪問集群機(jī)器

在三臺機(jī)器中分別執(zhí)行以下兩個命令，以便無密碼登錄到 localhost。

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

將 slave01 和 slave02 的公鑰 id_dsa.pub 傳給 master。

scp ~/.ssh/id_dsa.pub hadoop@master:/home/hadoop/.ssh/id_dsa.pub.slave01
scp ~/.ssh/id_dsa.pub hadoop@master:/home/hadoop/.ssh/id_dsa.pub.slave02

將 slave01 和 slave02的公鑰信息追加到 master 的 authorized_keys文件中。

cat id_dsa.pub.slave01 >> authorized_keys
cat id_dsa.pub.slave02 >> authorized_keys

將 master 的公鑰信息 authorized_keys 復(fù)制到 slave01 和 slave02 的 .ssh 目錄下。

scp authorized_keys hadoop@slave01:/home/hadoop/.ssh/authorized_keys
scp authorized_keys hadoop@slave02:/home/hadoop/.ssh/authorized_keys

分別 ssh 到 slave01 和 slave02

可以看到從 master 已經(jīng)不需要密碼就可以登錄到 slave01 和 slave 02。slave01 和 slave02 也無需密碼訪問另外兩臺機(jī)器，如下：

JDK 和 Hadoop 安裝配置

分別在三臺機(jī)器中安裝 JDK 和 Hadoop，具體的安裝細(xì)節(jié)這里不再贅述，可以參見另外一篇博文 Hadoop 2.6.4單機(jī)和偽分布式模式安裝。注意：本文將 Java 和 Hadoop 解壓安裝到 /opt 目錄下，需使用 chown 命令將解壓后文件夾所屬的用戶和用戶組改成 hadoop，以免后面產(chǎn)生權(quán)限問題。下面是 JDK 和 Hadoop 環(huán)境變量配置：
# Java Env
export JAVA_HOME=/opt/java/jdk1.7.0_80
export JRE_HOME=/opt/java/jdk1.7.0_80/jre
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
# Hadoop Env
export HADOOP_HOME=/opt/hadoop-2.6.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

集群配置

修改 master 機(jī)器上 Hadoop 配置
(1) hadoop-env.sh

增加如下兩行配置：

   export JAVA_HOME=/opt/java/jdk1.7.0_80export HADOOP_PREFIX=/opt/hadoop-2.6.4

(2) core-site.xml

   <configuration> 
       <property> 
           <name>fs.defaultFS</name> 
           <value>hdfs://master:9000</value> 
       </property> 
       <property> 
           <name>hadoop.tmp.dir</name> 
           <value>/opt/hadoop-2.6.4/tmp</value> 
       </property>
   </configuration>

注意：tmp目錄需提前創(chuàng)建

(3) hdfs-site.xml

   <configuration> 
       <property>
           <name>dfs.replication</name> 
           <value>3</value> 
       </property>
   </configuration>

數(shù)據(jù)有三個副本

(4) mapred-site.xml

   <configuration> 
       <property> 
           <name>mapreduce.framework.name</name> 
           <value>yarn</value> 
       </property>
   </configuration>

(5) yarn-env.sh

增加 JAVA_HOME 配置

   export JAVA_HOME=/opt/java/jdk1.7.0_80

(6) yarn-site.xml

   <configuration>
       <!-- Site specific YARN configuration properties --> 
       <property> 
           <name>yarn.nodemanager.aux-services</name> 
           <value>mapreduce_shuffle</value> 
       </property> 
       <property> 
           <name>yarn.resourcemanager.hostname</name> 
           <value>master</value> 
       </property>
   </configuration>

(7) slaves