三、Hadoop集群安裝

1. 下載hadoop軟件

地址：http://mirrors.hust.edu.cn/apache/hadoop/core/hadoop-2.7.2/hadoop-2.7.2.tar.gz

2. 安裝

hadoop的安裝相對來說很簡單，只需要解壓，并添加環(huán)境變量即可。

2.1 解壓

tar zxvf hadoop-2.7.2.tar.gz

將hadoop的路徑添加到環(huán)境變量中，
我的hadoop安裝目錄為

/home/hadoop/package/hadoop-2.7.2    // 根據(jù)個人設置而定

2.2 設置環(huán)境變量

sudo vim /etc/profile

添加如下內(nèi)容：

export HADOOP_HOME=/home/hadoop/package/hadoop-2.7.2
export PATH=.:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

使修改立刻生效

source /etc/profile

2.4 Hadoop 配置

所有的配置都在/hadoop-2.7.2/etc/hadoop/目錄下完成， 具體每個配置文件的含義在后續(xù)的開發(fā)過程中會進行解釋和說明。

2.4.1 配置slaves

vim slaves

添加slave機器，測試集群中只有兩臺slave，如下：

slave1
slave2

2.4.2 在hadoop-env.sh 和yarn-env.sh中配置java路徑

# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.8.0_91 // 后面的地址根據(jù)自己系統(tǒng)進行修改

找到上面那個地方，修改后面java的地址

2.4.3 修改core-site.xml配置

打開core-site.xml文件，初始狀態(tài)下，文件內(nèi)只有一些注釋，沒有具體的設置，添加一下內(nèi)容：

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>file:/home/hadoop/package/hadoop-2.7.2/tmp</value>
        </property>
        <property>
                <name>io.file.buffer.size</name>
                <value>131702</value>
        </property>
</configuration>

備注：前兩個設置是必須的，后面可以不加。

2.4.4 修改hdfs-site.xml配置

打開hdf-site.xml文件，默認狀態(tài)沒有其他配置，添加一下內(nèi)容：

<configuration>
<property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/package/hadoop-2.7.2/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/package/hadoop-2.7.2/hdfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>master:9001</value>
    </property>
    <property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
    </property>

</configuration>

2.4.5 修改map-red.xml配置

初始時，/etc/hadoop/目錄下沒有這個文件，只有它的模板文件，mapred-site.xml.template，那么需要復制出來這個文件，

cp mapred-site.xml.template mapred-site.xml

打開文件，添加一下內(nèi)容：

<configuration>
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>master:10020</value>
    </property>
    <property>
        <name>mapreduce.jobtracker.http.address</name>
        <value>master:50030</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>master:19888</value>
    </property>
</configuration>

2.4.5 修改yarn-site.xml 配置

打開yarn-site.xml，添加一下內(nèi)容：

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>master:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:8088</value>
    </property>
</configuration>

以上操作就是對三臺hadoop集群的簡單配置，現(xiàn)在還不能測試集群，因為另外兩臺機器還沒有創(chuàng)建，等我們安裝完所有的配置之后，選擇virtualbox clone命令就可以得到出IP以外完全一樣的機器了。
轉載請注明出處：http://www.itdecent.cn/p/d54528d6d513