Hadoop2.6 集群部署automaticHA+Federation+Yaran

一. 目標(biāo)

  • 搭建Hadoop2.6.4 集群 automaticHA+Federation+Yaran

二. 環(huán)境

  • jdk1.7
  • hadoop2.2
  • centos6.5 64位
  • zookeeper 3.4.5

三. 集群規(guī)劃

集群 主機(jī)名 IP 安裝的軟件 運(yùn)行的進(jìn)程
1 hadoop1 192.168.172.101 jdk、hadoop NameNode、DFSZKFailoverController ResourceManager DFSZKFailoverController
1 spark2 192.168.172.102 jdk、hadoop NameNode、DFSZKFailoverController、JournalNode、DataNode NodeManager DFSZKFailoverController
2 spark3 192.168.172.103 jdk、hadoop、zookeeper NameNode、DataNode、NodeManager、JournalNode、QuorumPeerMain DFSZKFailoverController
2 spark4 192.168.172.104 jdk、hadoop、zookeeper NameNode、DataNode、NodeManager、JournalNode、QuorumPeerMain DFSZKFailoverController
2 spark5 192.168.172.105 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain

四. 部署步驟

  1. 關(guān)閉防火墻 service iptables stop 驗(yàn)證:service iptalbes status
  2. 關(guān)閉防火墻的自動(dòng)執(zhí)行 chkconfig iptalbes off 驗(yàn)證：chkconfig --list|grep iptables
  3. 設(shè)置主機(jī)名 etc/sysconfig/network[1]
  1. 設(shè)置SSH免密碼登陸 ssh-keygen -t rsa 在/root/.ssh 下生成功公鑰與私鑰; ssh-copy-id -i 主機(jī)地址 生成authoriaed_keys
  2. 綁定 ip與hostname /etc/hosts 增加IP與主機(jī)名
  3. 安裝JDK Hadoop /etc/profile 添加JDK_HOME HADOOP_HOME 路徑
  4. hadoop配置，修改位于etc/hadoop 目錄下的配置文件
  • hadoop-env.sh 增加export JAVA_HOME=/usr/local/jdk
  • core-site.xml
<property>
 <name>fs.defaultFS</name>
 <value>hdfs://cluster1</value>
</property>
【這里的值指的是默認(rèn)的HDFS路徑。當(dāng)有多個(gè)HDFS集群同時(shí)工作時(shí)，用戶如果不寫集群名稱，那么默認(rèn)使用哪個(gè)哪？在這里指定！該值來自于hdfs-site.xml中的配置。在節(jié)點(diǎn)spark2和hadoop1中使用cluster1，在節(jié)點(diǎn)spark3、spark4、spark5中使用cluster2】
<property>
 <name>hadoop.tmp.dir</name>
 <value>/usr/local/hadoop/tmp</value>
</property>
【這里的路徑默認(rèn)是NameNode、DataNode、JournalNode等存放數(shù)據(jù)的公共目錄。用戶也可以自己單獨(dú)指定這三類節(jié)點(diǎn)的目錄?！?<property>
 <name>ha.zookeeper.quorum</name>
 <value>spark3:2181,spark4:2181,spark5:2181</value>
</property>
【這里是ZooKeeper集群的地址和端口。注意，數(shù)量一定是奇數(shù)，且不少于三個(gè)節(jié)點(diǎn)】
</configuration>
  • hdfs-site.xml
該文件只配置在hadoop0和hadoop1上。
<configuration>
  <property>
      <name>dfs.replication</name>
      <value>2</value>
  </property>
【指定DataNode存儲block的副本數(shù)量。默認(rèn)值是3個(gè)，我們現(xiàn)在有4個(gè)DataNode，該值不大于4即可?！?  <property>
      <name>dfs.nameservices</name>
      <value>cluster1,cluster2</value>
  </property>
【使用federation時(shí)，使用了2個(gè)HDFS集群。這里抽象出兩個(gè)NameService實(shí)際上就是給這2個(gè)HDFS集群起了個(gè)別名。名字可以隨便起，相互不重復(fù)即可】
  <property>
      <name>dfs.ha.namenodes.cluster1</name>
      <value>hadoop1,spark2</value>
  </property>
【指定NameService是cluster1時(shí)的namenode有哪些，這里的值也是邏輯名稱，名字隨便起，相互不重復(fù)即可】
  <property>
      <name>dfs.namenode.rpc-address.cluster1.hadoop1</name>
      <value>hadoop0:9000</value>
  </property>
【指定hadoop1的RPC地址】
  <property>
      <name>dfs.namenode.http-address.cluster1.hadoop1</name>
      <value>hadoop1:50070</value>
  </property>
【指定hadoop1的http地址】
  <property>
      <name>dfs.namenode.rpc-address.cluster1.spark2</name>
      <value>spark2:9000</value>
  </property>
【指定spark2的RPC地址】
<property>
      <name>dfs.namenode.http-address.cluster1.spark2</name>
      <value>spark2:50070</value>
  </property>
【指定spark2的http地址】
  <property>
      <name>dfs.namenode.shared.edits.dir</name>
  <value>qjournal://spark3:8485;spark4:8485;spark5:8485/cluster1</value>
  </property>
【指定cluster1的兩個(gè)NameNode共享edits文件目錄時(shí)，使用的JournalNode集群信息】
<property>
      <name>dfs.ha.automatic-failover.enabled.cluster1</name>
      <value>true</value>
  </property>
【指定cluster1是否啟動(dòng)自動(dòng)故障恢復(fù)，即當(dāng)NameNode出故障時(shí)，是否自動(dòng)切換到另一臺NameNode】
<property>        <name>dfs.client.failover.proxy.provider.cluster1</name>   <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
【指定cluster1出故障時(shí)，哪個(gè)實(shí)現(xiàn)類負(fù)責(zé)執(zhí)行故障切換】
  <property>
      <name>dfs.ha.namenodes.cluster2</name>
      <value>spark3,spark4</value>
  </property>
【指定NameService是cluster2時(shí)，兩個(gè)NameNode是誰，這里是邏輯名稱，不重復(fù)即可。以下配置與cluster1幾乎全部相似，不再添加注釋】
 <property>
      <name>dfs.namenode.rpc-address.cluster2.spark3</name>
      <value>spark3:9000</value>
  </property>
  <property>
      <name>dfs.namenode.http-address.cluster2.spark3</name>
      <value>spark3:50070</value>
  </property>
  <property>
      <name>dfs.namenode.rpc-address.cluster2.spark4</name>
      <value>spark4:9000</value>
  </property>
  <property>
      <name>dfs.namenode.http-address.cluster2.spark4</name>
      <value>spark4:50070</value>
  </property>
  <!--
  <property>
      <name>dfs.namenode.shared.edits.dir</name>
      <value>qjournal://hadoop0:8485;hadoop1:8485;hadoop2:8485/cluster2</value>
  </property>
【這段代碼是注釋掉的，不要打開】
  -->
<property>
      <name>dfs.ha.automatic-failover.enabled.cluster2</name>
      <value>true</value>
  </property>
<property>
      <name>dfs.client.failover.proxy.provider.cluster2</name>
      <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
      <name>dfs.journalnode.edits.dir</name>
      <value>/usr/local/hadoop/tmp/journal</value>
</property>
【指定JournalNode集群在對NameNode的目錄進(jìn)行共享時(shí)，自己存儲數(shù)據(jù)的磁盤路徑】
<property>
      <name>dfs.ha.fencing.methods</name>
      <value>sshfence</value>
  </property>
【一旦需要NameNode切換，使用ssh方式進(jìn)行操作】
  <property>
      <name>dfs.ha.fencing.ssh.private-key-files</name>
      <value>/root/.ssh/id_rsa</value>
  </property>
【如果使用ssh進(jìn)行故障切換，使用ssh通信時(shí)用的密鑰存儲的位置】
</configuration>
  • slaves
spark2
spark3
spark4
spark5
  • 把以上配置的內(nèi)容復(fù)制到spark2、spark3、spark4、spark5節(jié)點(diǎn)上
  • 修改spark2、spark3、spark4、spark5上的配置文件內(nèi)容
    • 修改spark3上的core-site.xml內(nèi)容
      fs.defaultFS的值改為hdfs://cluster2
    • 修改spark3上的hdfs-site.xml內(nèi)容
      把cluster1中關(guān)于journalnode的配置項(xiàng)刪除，增加如下內(nèi)容
<property>
    <name>dfs.namenode.shared.edits.dir</name>
 <value>qjournal://spark3:8485;spark4:8485;spark5:8485/cluster1</value>
</property>
  1. 開始啟動(dòng)
  • 啟動(dòng)journalnode
    在spark3、spark4、spark5上執(zhí)行sbin/hadoop-daemon.sh start journalnode
  • 格式化ZooKeeper
    在hadoop1、spark3上執(zhí)行bin/hdfs zkfc -formatZK
  • 對hadoop1節(jié)點(diǎn)進(jìn)行格式化和啟動(dòng)
    bin/hdfs namenode -format
    sbin/hadoop-daemon.sh start namenode
  • 對spark2節(jié)點(diǎn)進(jìn)行格式化和啟動(dòng)
    bin/hdfs namenode -bootstrapStandby
    sbin/hadoop-daemon.sh start namenode
  • 在hadoop1、spark2上啟動(dòng)zkfc

sbin/hadoop-daemon.sh start zkfc
我們的hadoop1、hadoop1有一個(gè)節(jié)點(diǎn)就會變?yōu)閍ctive狀態(tài)。

  1. 對于cluster2執(zhí)行類似操作
  • 啟動(dòng)datanode
    在hadoop0上執(zhí)行命令sbin/hadoop-daemons.sh start datanode
  1. 配置Yarn

  • 修改文件mapred-site.xml
    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>

  • 修改文件yarn-site.xml
    <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop1</value>
    </property>
    【自定ResourceManager的地址，還是單點(diǎn)，這是隱患】
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>

  • 啟動(dòng)yarn
    在hadoop1上執(zhí)行sbin/start-yarn.sh

五. 問題

  1. 如果不定時(shí)出現(xiàn) linux 64位中
    異常解決：運(yùn)行zookeeper zkServer.sh status時(shí)出現(xiàn) Error contacting service. It is probably not running.
    則在 /etc/hosts 加入
    #127.0.0.1 localhost.localdomain localhost
    #::1 localhost6.localdomain6 localhost6
    127.0.0.1 localhost localhost.localdomain

  2. Journal Storage Directory not f ormatted
    HA 三個(gè)NODE都沒有該目錄則重新格式化namenode

  3. IPC's epoch 1 is less than the last promised epoch 2
    訪問其它主機(jī)超時(shí)引起可配置core-site.xml 具體的日志信息可以參考對應(yīng)的日志。

  4. 出現(xiàn)
    java.lang.NoSuchMethodError: org.apache.hadoop.conf.Configuration.unset(Ljava/l
    需其它的主機(jī)可以運(yùn)行，最大的可能性在于配置的出錯(cuò)。那么重新拷貝一份hadoop

  1. 設(shè)置主機(jī)名后需要重啟才會生效 reboot -h now ?

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容