高可用HA環(huán)境搭建參考20190711步驟
在以上環(huán)境進行簡單配置即可
登錄node1節(jié)點修改mapred-site.xml、yarn-site.xml
1.mapred-site.xml
<property>
? ? ? ? <name>mapreduce.framework.name</name>
? ? ? ? <value>yarn</value>
? </property>
2.yarn-site.xml
<property>
? ? ? <name>yarn.nodemanager.aux-services</name>
? ? ? <value>mapreduce_shuffle</value>
</property>
<property>
? <name>yarn.resourcemanager.ha.enabled</name>
? <value>true</value>
</property>
<property>
? <name>yarn.resourcemanager.cluster-id</name>
? <value>cluster1</value>
</property>
<property>
? <name>yarn.resourcemanager.ha.rm-ids</name>
? <value>rm1,rm2</value>
</property>
<property>
? <name>yarn.resourcemanager.hostname.rm1</name>
? <value>node3</value>
</property>
<property>
? <name>yarn.resourcemanager.hostname.rm2</name>
? <value>node4</value>
</property>
<property>
? <name>yarn.resourcemanager.zk-address</name>
? <value>node2:2181,node3:2181,node4:2181</value>
</property>
3. 將上述兩個配置文件同步到node2、node3、node4節(jié)點
在node1節(jié)點先啟動 start-dfs.sh (等同start-dfs.sh || start-yarn.sh)
然后在node1節(jié)點啟動 ?yarn-daemons.sh start resourcemanager
在node3、node4節(jié)點之行jps查看
[hadoop@node3 current]$ jps
20113 NodeManager
20289 ResourceManager
10341 QuorumPeerMain
20373 Jps
19870 DataNode
19983 JournalNode
注意：之行以上命令前要確保zk服務(wù)已啟動?
zookeeper配置在 node2、node3、node4三個節(jié)點上
zkServer.sh status ?［查看zk服務(wù)］
?zkServer.sh start ? ?［啟動zk服務(wù)］
? resourcemanager服務(wù)需要手動停止或啟動,start-all.sh不包含rm服務(wù)
? yarn-daemons.sh start resource manager ［啟動］ ?
? yarn-daemons.sh stop resource manager ［停止］
4. 啟動瀏覽器查看 resourceManager服務(wù)
登錄node3或node4 ? 瀏覽器輸入node04:8088
