最近由于要學(xué)習(xí)一下大數(shù)據(jù)相關(guān)的知識(shí)，首先遇到的就是Hadoop。那么接下來(lái)就看一下如何安裝Hadoop。

1. 下載tar包
   https://hadoop.apache.org/releases.html

2. 解壓tar包

    tar -vxf hadoop.3.1.1.gz.tar
   

3. 設(shè)置環(huán)境變量

    export HADOOP_HOME=/home/hadoop/hadoop-3.1.1 
    export HADOOP_INSTALL=$HADOOP_HOME
    export HADOOP_MAPRED_HOME=$HADOOP_HOME
    export HADOOP_COMMON_HOME=$HADOOP_HOME
    export HADOOP_HDFS_HOME=$HADOOP_HOME
    export YARN_HOME=$HADOOP_HOME
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native         
    export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin 
    export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
   

4. 修改hadoop-env.sh
   腳本文件位于*/hadoop-3.1.1/etc/hadoop

    export JAVA_HOME=/opt/jdk1.8.0_192 
    export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"/home/hadoop/hadoop-3.1.1/etc/hadoop"}
   

5. 修改core-site.xml
   腳本文件位于*/hadoop-3.1.1/etc/hadoop

• fs.defaultFS指出了文件系統(tǒng)的位置

• hadoop.tmp.dir: 臨時(shí)文件夾的位置

    <configuration>
      <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
      </property>
      <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/hadooptmpdata</value>
      </property>
    </configuration>
  

6. 修改hdfs-site.xml
   腳本文件位于*/hadoop-3.1.1/etc/hadoop

• dfs.replication 創(chuàng)建文件時(shí)復(fù)制的數(shù)目

• dfs.name.dir 指定名字節(jié)點(diǎn)的位置

• dfs.data.dir 指定data節(jié)點(diǎn)的位置

    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
            <name>dfs.name.dir</name>
            <value>file:///home/hadoop/hdfs/namenode</value>
            <name>dfs.data.dir</name>
            <value>file:///home/hadoop/hdfs/datanode</value>  
        </property>
    </configuration>
  

記得要?jiǎng)?chuàng)建對(duì)應(yīng)的文件夾

    mkdir -p hdfs/namenode
    mkdir -p hdfs/datanode

7. 修改mapreduce.xml

• mapreduce.framework.name 執(zhí)行mapreduce jobs的運(yùn)行時(shí)框架，可以為local, classsic, yarn

    <configuration>
        <property>
            <name>[mapreduce.framework.name](http://mapreduce.framework.name)</name>
            <value>yarn</value>
        </property>
    </configuration>
  

8. 修改yarn.xml

    <configuration>
        <property>
            <name>mapreduceyarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
       </property>
    </configuration>
   

9. 啟動(dòng)hadoop集群

    hdfs namenode -format
   

10. 啟動(dòng) HDFS

    start-dfs.sh
    

如果提示ssh: connect to host refused，安裝ssh，并且cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

11. 啟動(dòng)yarn

    start-yarn.sh
    

12. 可以通過(guò)命令jps查看hdfs運(yùn)行狀態(tài)

    jps
    

13. 可以查看hadoop的版本

    hdfs version
    

14. 創(chuàng)建hdfs目錄并且顯示

    hdfs dfs -mkdir /test
    hdfs dfs -ls /
    

到此，hadoop安裝完成。