Hadoop添加和移除節(jié)點(diǎn)

一、添加節(jié)點(diǎn)

  1. 將新節(jié)點(diǎn)的網(wǎng)絡(luò)地址添加到include文件中
  2. 運(yùn)行以下命令,將審核過的一系列datanode集合更新至namenode信息:

hdfs dfsadmin -refreshNodes

  1. 運(yùn)行以下命令,將審核過的一系列datanode集合更新至資源管理器:

yarn mradmin -refreshNodes

  1. 以新節(jié)點(diǎn)更新slaves文件
  2. 啟動(dòng)新的 datanode 和 nodemanager

二、移除節(jié)點(diǎn)

  1. 將解除節(jié)點(diǎn)的網(wǎng)絡(luò)地址添加到exclude文件中,不更新include文件
  2. 執(zhí)行以下指令,使用一組新的審核過的datanode來更新namenode設(shè)置

hdfs dfsadmin -refreshNodes

  1. 執(zhí)行以下指令,使用一組新的審核過的datanode來更新資源管理器

yarn mradmin -refreshNodes

  1. 轉(zhuǎn)到網(wǎng)頁界面,查看待解除的datanode的管理狀態(tài)是否已經(jīng)變?yōu)椤癉ecommission In Progress”狀態(tài),因?yàn)榇藭r(shí)相關(guān)的datanode正在被解除過程之中。這些datanode會(huì)把他們的塊復(fù)制到其他的datanode中

  2. 當(dāng)所有datanode的狀態(tài)變?yōu)椤癉ecommissioned”時(shí),表明所有的塊都已經(jīng)復(fù)制完成。關(guān)閉這些已經(jīng)解除的節(jié)點(diǎn)

  3. 從include文件中移除這些節(jié)點(diǎn),并運(yùn)行以下命令:

hdfs dfsadmin -refreshNodes
yarn mradmin -refreshNodes

  1. 從slaves文件中移除節(jié)點(diǎn)

以上涉及到兩個(gè)文件 include 和 exclude,節(jié)點(diǎn)在其中的關(guān)系如下:

節(jié)點(diǎn)在include中 節(jié)點(diǎn)在exclude中 解釋
節(jié)點(diǎn)無法連接
節(jié)點(diǎn)無法連接
節(jié)點(diǎn)可連接
節(jié)點(diǎn)可連接,將被解除
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 簡(jiǎn)述 hadoop 集群一共有4種部署模式,詳見《hadoop 生態(tài)圈介紹》。HA聯(lián)邦模式解決了單純HA模式的性能...
    mtide閱讀 13,496評(píng)論 8 20
  • 先思考問題 我們處在一個(gè)大數(shù)據(jù)的時(shí)代已經(jīng)是不爭(zhēng)的事實(shí),這主要表現(xiàn)在數(shù)據(jù)源多且大,如互聯(lián)網(wǎng)數(shù)據(jù),人們也認(rèn)識(shí)到數(shù)據(jù)里往...
    墻角兒的花閱讀 7,674評(píng)論 0 9
  • 話說這日,暮春時(shí)節(jié),一場(chǎng)酥雨剛歇,天清氣朗,碧空萬里無云。海面上微波蕩漾,一輪紅日冉冉升起,天地一派祥和。 而此時(shí)...
    不惑而歌閱讀 694評(píng)論 55 18
  • 今天做了一個(gè)決定,到這個(gè)完完全全我自己的世界來,或許每個(gè)人,都應(yīng)該給自己找一個(gè)安靜棲息之所,在這個(gè)過程中,忍受寂寞...
    花花小火閱讀 717評(píng)論 0 1
  • 北大楊眾籌悟語:有些錢掙了就會(huì)把你廢掉:今天我們討論眾籌培訓(xùn)課程,我說現(xiàn)在培訓(xùn)課程質(zhì)量要提高,其實(shí)非常容易,第一給...
    吳桂斌閱讀 317評(píng)論 0 0

友情鏈接更多精彩內(nèi)容