HA hadoop 安裝
<property></property>
<name></name>
<value></value>
core-site.xml
fs.defaultFS hdfs://hostname 默認主節(jié)點
io.native.lib.available true 本地庫文件生效
hadoop.tmp.dir /home/hadoop/tmp 數(shù)據(jù)存放位置
ha.zookeeper.quorum hadoop1:2181,hadoop2:2181,hadoop,2181 zookepeer集群節(jié)點
dfs.namenode.checkpoint.dir /root下的目錄 歸檔文件存放位置
io.file.buffer.size 8192 文件緩沖區(qū)大小
hadoop.proxyuser.root.hosts hostname
hadoop.proxyuser.root.groups
hdfs.site.xml
dfs.replication 3 文件副本數(shù)
dfs.nameservices ns1（隨意取的名字） namenode服務
dfs.ha.namenodes.ns1 nn1，nn2 （namenode的名字） namenode的所有節(jié)點
dfs.namenode.rpc-adress.ns1.nn1 hostname:8020 訪問端口
dfs.namenode.http-adress.ns1.nn1 hostname:50070 訪問端口
dfs.namenode.shared.edits.dir qjournal://（所有）datanode:8485;/ns1
dfs.client.failover.proxy.provider.ns1
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxprovider
dfs.ha.fencing.methods shell（/bin/bash）
dfs.journalnode.edits.dir /子節(jié)點的元數(shù)據(jù)位置
dfs.ha.automatic-failover.enabled true
dfs.ha.fencing.ssh.private-key-files /home/hadoop/.ssh/.pub
dfs.datanode.data.dir /子節(jié)點數(shù)據(jù)存放位置
dfs.datanode.handler.count 20
dfs.datanode.du.reserved 3221225472
dfs.blocksize 134217728
dfs.namemode.hander.count 20
dfs.balance.bandwidthPerSec 40485760
dfs.support.append true
dfs.datanode.max.transfer.threads 4096
mapred.site.xml
mapred.job.tracker hostname:9001
mapreduce.framework.name yarn
yarn-site.xml
yarn.resourcemanager.hostname hostname（不用熱備）
yarn.resourcemanager.ha.enabled true
yarn.resourcemanager.cluster-id yrc（隨意）
yarn.resourcemanager.ha.rm-ids rm1,rm2
yarn.resourcemanager.hostname.rm1 hostname
yarn.resourcemanager.zk-address hadoop1:2181,hadoop2:2181,hadoop,2181
yarn.nodemanager.aux-services mapreduce_shuffle
hadoop-daemon.sh start journalnode hdfs namenode -initializeSharedEdits
hdfs namenode -format
could only be replicated to 0 nodes, instead of 1
?確保master（namenode） 、slaves（datanode）的防火墻已經關閉
?確保DFS空間的使用情況
?Hadoop默認的hadoop.tmp.dir的路徑為/tmp/hadoop-${user.name},而有的linux系統(tǒng)的/tmp目錄文件系統(tǒng)的類型往往是Hadoop不支持的。（ 本人在Ubuntu 10.10下測試偽分布式時就遇到了這種情況 ）
?先后啟動namenode、datanode（本人沒有碰到過這樣的情況 ）
$hadoop-daemon.sh start namenode
$hadoop-daemon.sh start datanode
