搭建YARN偽分布式系統(tǒng)

1，在搭建HDFS偽分布式的基礎(chǔ)之上，搭建YARN，并啟動YARN，搭建HDFS偽分布式文件系統(tǒng)

2，配置YARN

cd /home/zhx/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop/
cp mapred-site.xml.template mapred-site.xml 這個文件本來目錄中沒有，需要拷貝原來的template的那個文件

vim mapred-site.xml配置mapred-site.xml文件

<configuration>
<property>
       <name>mapreduce.framework.name</name>告訴我們mapreduce這個計算框架最終在那里執(zhí)行，這里是在yarn之上執(zhí)行
       <value>yarn</value>
</property>
</configuration>

vim yarn-site.xml配置yarn-site.xml文件，

<configuration>
<property>
       <name>yarn.nodemanager.aux-services</name>告訴我們YARN的nodemanager用的是哪一個services
       <value>mapreduce_shuffle</value>
</property>
</configuration>

3，啟動YARN

cd /home/zhx/app/hadoop-2.6.0-cdh5.7.0/sbin/
./start-yarn.sh

4，檢查是否啟動成功

1，jps命令，多了ResourceManager和NodeManager，說明啟動成功
2，瀏覽器訪問，http://主機ip:8088


YARN啟動界面.png

5，提交PI的MapReduce作業(yè)到Y(jié)ARN上執(zhí)行

cd /home/zhx/app/hadoop-2.6.0-cdh5.7.0/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.7.0.jar pi 2 3

執(zhí)行結(jié)果.png

瀏覽器查看.png

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

友情鏈接更多精彩內(nèi)容