可以參考hadoop官網(wǎng)：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/hadoop-project-dist/hadoop-common/SingleCluster.html

1.jdk安裝

可以參考
cnetos7下卸載openjdk和安裝jdk1.8

2.安裝ssh

sudo yum install ssh
ssh-keygen -t rsa
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

3. 下載并解壓hadoop

下載：直接去cdh網(wǎng)站下載
解壓：tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C ~/app

4.hadoop配置文件的修改(hadoop_home/etc/hadoop)

hadoop-env.sh

    export JAVA_HOME=/usr/local/java/jdk1.8.0_161（jkd 的安裝路徑）

etc/hadoop/core-site.xml:

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node1:8020</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/root/app/tmp</value>
    </property>

</configuration>

etc/hadoop/hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

5. 啟動(dòng)hdfs

1.執(zhí)行

 $ bin/hdfs namenode -format (格式化文件系統(tǒng)：僅第一次啟動(dòng)時(shí)執(zhí)行即可，不要重復(fù)執(zhí)行，重復(fù)執(zhí)行后會(huì)導(dǎo)致datanode啟動(dòng)不了，因?yàn)閚amenode和datanode的clousterID不同)

2.啟動(dòng)

 $ sbin/start-dfs.sh

3.驗(yàn)證是否啟動(dòng)成功
一種方式：用 jps命令查看進(jìn)程：
7364 NameNode
7876 SecondaryNameNode
7559 DataNode
另外的方式：
在瀏覽器中輸入：http://node1:50070 可以查看hdfs的信息：

hdfs管理頁(yè)面.png

6.停止hdfs

$ sbin/stop-dfs.sh

yarn搭建

1.etc/hadoop/mapred-site.xml:

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

2.etc/hadoop/yarn-site.xml:

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

啟動(dòng)

$ sbin/start-yarn.sh

停止

$ sbin/stop-yarn.sh

提交mapreduce 作業(yè)到 yarn 上運(yùn)行：

#hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar 所在目錄
/root/app/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce
#執(zhí)行命令
hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 2 3