Hadoop 重新格式化HDFS

有時(shí)候因?yàn)樽约旱囊恍╁e(cuò)誤修改,導(dǎo)致Hadoop集群總是有些節(jié)點(diǎn)啟動(dòng)不起來(lái)。
這是就需要重新格式化HDFS,在重啟。
但是重新格式化會(huì)導(dǎo)致一個(gè)問(wèn)題,就是以前的namenode中已經(jīng)記錄了datanode的namespaceId了,重新啟動(dòng)會(huì)給datanode另一個(gè)Id,導(dǎo)致最終啟動(dòng)集群的時(shí)候,datanode總是啟動(dòng)不起來(lái)。

解決辦法:
先刪除namenode歷史的文件,再格式化重啟。
直接刪除namenode的配置文件目錄,在重新format

1,rm -rf ../hdfs/na*
2,./hadoop namenode -format
這時(shí)還需要將現(xiàn)在的新的datanode的namespaceId修改為以前的id。即和namenode的namespaceId一致。

可以在重啟直接先記下來(lái)。在hdfs.site.xml配置了datanode的目錄
找到current/version就可以看到namenode了。

或者可以先直接運(yùn)行 bin/start-all.sh命令,啟動(dòng)完,在hadoop/logs目錄下查看namenode的log文件,里面會(huì)報(bào)錯(cuò),指出來(lái)namenode里面的datanode對(duì)不上。
再回到current/version,將datanode的namespaceId修改和namenode一致即可。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 終極算法 關(guān)注微信號(hào)每天收聽(tīng)我們的消息終極算法為您推送精品閱讀 前言 Hadoop 在大數(shù)據(jù)技術(shù)體系中的地位至關(guān)...
    Yespon閱讀 131,116評(píng)論 12 168
  • 首先,我們?cè)谑褂们跋瓤纯碒DFS是什麼?這將有助于我們是以后的運(yùn)維使用和故障排除思路的獲得。 HDFS采用mast...
    W_Bousquet閱讀 4,459評(píng)論 0 2
  • 一、系統(tǒng)參數(shù)配置優(yōu)化 1、系統(tǒng)內(nèi)核參數(shù)優(yōu)化配置 修改文件/etc/sysctl.conf,添加如下配置,然后執(zhí)行s...
    張偉科閱讀 3,923評(píng)論 0 14
  • 文/書山花開(kāi) 日光恣意隨性,揮灑激情,而大地感到焦躁,帶著發(fā)燒的癥狀,四處找尋陰涼,難以遂心,于是心頭冒起陣陣白煙...
    書山花開(kāi)閱讀 725評(píng)論 2 4
  • 中午了,吃點(diǎn)啥? 準(zhǔn)備自己去覓食!好久沒(méi)做過(guò)飯了。 突然發(fā)現(xiàn)廚房還有方便面,煮了! 晚上出來(lái)吵架,干嘛管我不出去逛...
    Ching_Smile閱讀 308評(píng)論 0 0

友情鏈接更多精彩內(nèi)容