Hadoop集群動態(tài)增加節(jié)點

一、集群基礎(chǔ)環(huán)境配置

  1. 關(guān)閉防火墻
  2. 配置ntp服務(wù)時鐘，與主節(jié)點同步: server 90.0.25.1
  3. 配置SSH免密登錄
  4. 配置hosts文件：vim /etc/hosts
  5. 安裝jdk

二、Hadoop配置

  1. Hadoop安裝包

  2. 修改slaves配置,分發(fā)到各個節(jié)點

  3. 把/etc/hadoop下的配置文件發(fā)送到新節(jié)點，并新建相關(guān)目錄：mkdir tmp journaldata name data logs pids

  4. 注意修改/etc/profile配置文件，并使配置生效

  5. 在新節(jié)點上啟動DataNode：./hadoop-daemon.sh start datanode

  6. 在主節(jié)點上執(zhí)行：hdfs dfsadmin -refreshNodes

  7. 查看列表信息：hdfs dfsadmin -report

  8. 設(shè)置負(fù)載均衡帶寬：hdfs dfsadmin -setBalancerBandwidth 67108864

數(shù)據(jù)傳輸帶寬默認(rèn)為1M，這里設(shè)置為64M
  1. hdfs負(fù)載均衡：./sbin/start-balancer.sh -threshold 1
磁盤總利用率與各個節(jié)點的利用率之差的絕對值不超過1%。
執(zhí)行該操作后，會看到其他節(jié)點上的block轉(zhuǎn)移到新加入的節(jié)點上。

小插曲：在生產(chǎn)環(huán)境上，執(zhí)行以上操作后隨即啟動Regionserver，導(dǎo)致平臺無法訪問HBase，業(yè)務(wù)受到影響。嚇得我立馬停掉新的Regionserver平臺才得以恢復(fù)。
原因：這里需要等待Hadoop集群blocks達(dá)到平衡。

三、HBase配置

  1. HBase安裝包，解壓
  2. 修改/etc/profile配置文件，并使其生效
  3. 修改regionservers的配置，并發(fā)送到所有節(jié)點
  4. 將其他節(jié)點的conf目錄發(fā)送到新節(jié)點
  5. 創(chuàng)建相關(guān)目錄：mkdir pids tmp logs
  6. 啟動regionserver：./hbase-daemon.sh start regionserver
  7. 負(fù)載均衡，進(jìn)入hbase shell執(zhí)行：balance_switch true
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

友情鏈接更多精彩內(nèi)容