Hadoop的HDFS HA、Yarn HA集群部署
1.HDFS
NN SNN(secondary)
熱備
NN(active)? 掛了
NN(standby)--》active
Zookeeper選舉的 奇數(shù) 2n+1 至少3
<= 10? 3臺
10~100 7臺
>100? 9/11臺
HDFS HA
hdfs dfs -ls /
? ? hdfs://ip:9000/
代碼或者shell腳本:
命名服務(wù): nameservice1(CDH)
? ? ? ? ? mycluster 配置文件 192.168.0.5? 192.168.0.6
hdfs dfs -ls hdfs://mycluster/
core-site.xml
hdfs-site.xml
yarn-site.xml
slaves
Yarn HA
存儲 HDFS HIVE HBase
計(jì)算 hive sql、MR、Spark
資源調(diào)度 Yarn
HBase讀寫
青云: https://ke.qq.com/course/302442?tuin=11cffd50
https://console.qingcloud.com
3臺 3個外網(wǎng)IP
青云控制1個用戶
1個外網(wǎng)IP+3臺機(jī)器
1.VPC環(huán)境準(zhǔn)備和集群機(jī)器準(zhǔn)備
2.hosts修改
3.ssh多臺機(jī)器信任關(guān)系 http://blog.itpub.net/30089851/viewspace-1992210/
4.
hadoop001:
ZK1
DN1
JN1
ZKFC
NN
NM
RM
hadoop002:
ZK1
DN1
JN1
ZKFC
NN
NM
RM
hadoop003:
ZK1
DN1
JN1
NM
