準(zhǔn)備工作

1、Hadoop官方下載地址：http://hadoop.apache.org/releases.html

image.png

選擇最新的3.0.0版本后跳轉(zhuǎn)至下面的頁面選擇紅色框部分鏈接即可下載，建議采用專業(yè)的下載工具下載，速度更快

image.png

2、將tar.gz包解壓至D盤根目錄：

image.png

Note：必須用管理員權(quán)限解壓
3、配置環(huán)境變量:
添加HADOOP_HOME配置：

image.png

在Path中添加如下：

image.png

4、Hadoop需要依賴JDK，考慮其路徑中不能有空格，故直接安裝如下目錄：

image.png

Hadoop配置

1、修改D:/hadoop-3.0.0/etc/hadoop/core-site.xml配置:

<configuration>
       <property>
           <name>fs.default.name</name>
           <value>hdfs://localhost:9000</value>
       </property>
 </configuration>

2、修改D:/hadoop-3.0.0/etc/hadoop/mapred-site.xml配置:

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
   </property>
</configuration>

3、在D:/hadoop-3.0.0目錄下創(chuàng)建data目錄，作為數(shù)據(jù)存儲路徑：

image.png

在D:/hadoop-3.0.0/data目錄下創(chuàng)建datanode目錄；
在D:/hadoop-3.0.0/data目錄下創(chuàng)建namenode目錄；

4、修改D:/hadoop-3.0.0/etc/hadoop/hdfs-site.xml配置:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property> 
     <name>dfs.permissions</name> 
     <value>false</value> 
  </property>
   <property>
       <name>dfs.namenode.name.dir</name>
       <value>/D:/hadoop-3.0.0/data/namenode</value>
   </property>
   <property>
        <name>fs.checkpoint.dir</name>
        <value>/D:/hadoop-3.0.0/data/snn</value>
    </property>
    <property>
        <name>fs.checkpoint.edits.dir</name>
        <value>/D:/hadoop-3.0.0/data/snn</value>
    </property>
       <property>
       <name>dfs.datanode.data.dir</name>
       <value>/D:/hadoop-3.0.0/data/datanode</value>
   </property>
</configuration>

5、修改D:/hadoop-3.0.0/etc/hadoop/yarn-site.xml配置:

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>  
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
</configuration>

6、修改D:/hadoop-3.0.0/etc/hadoop/hadoop-env.cmd配置，找到"set JAVA_HOME=%JAVA_HOME%"替換為"set JAVA_HOME=D:\hadoop-3.0.0\jdk1.8.0_151"
7、bin目錄替換，至https://github.com/steveloughran/winutils下載解壓