Hadoop學(xué)習(xí)常見錯(cuò)誤

一、關(guān)于安裝

1.? 在Hadoop全分布環(huán)境搭建中,記得每臺(tái)服務(wù)器上都需要安裝 JDK

2.? 安裝Hadoop完畢后,除了需要配置環(huán)境變量外,還需要修改多個(gè)配置文件,缺一不可。文件位置在你指定路徑安裝的Hadoop下? 的 /etc/hadoop/ 目錄下。 ? ? ??

?需要修改的配置文件: ?? hadoop-env.sh ? ? ? ? hdfs-site.xml ? ? ? core-site.xml ? ? ?? mapred-site.xml (這個(gè)配置文件是原來(lái) mapred-site-template 修改過(guò)的名字) ? yarn-site.xml ? slaves ? 由于疏忽,忘記配置slaves,導(dǎo)致在主機(jī)上啟動(dòng)服務(wù)后,其它服務(wù)器完全沒反應(yīng)。

3.? 由于多次format namenode節(jié)點(diǎn)導(dǎo)致 ?namdenode 的 namespaceID 與 ?datanode的namespaceID 不一致,從而導(dǎo)致namenode和 datanode的斷連。 ? ??

? ?? 解決方案:1、先將Hadoop所有服務(wù)停止,stop-all.sh ?? 2、在自己設(shè)置的臨時(shí)文件夾(tmp/dfs/)中將data文件夾刪除 ?? 3、重新啟動(dòng)Hadoop服務(wù)就可以了,start-dfs.sh,用jps查看。

4. 啟動(dòng)服務(wù)后發(fā)現(xiàn)其它正常,DataNode 沒起來(lái),有可能是因?yàn)?NameNode 數(shù)據(jù)里的 CID 和DataNode 上的 CID 不一致。 解決方案: 關(guān)閉服務(wù),將DataNode里的CID改為NameNode的 ? ? CID即可。

5. 執(zhí)行 yarn 啟動(dòng)命令時(shí),要在指定的 ResourceManager 上啟動(dòng)。否則會(huì)發(fā)現(xiàn) ResourceManager ?? 未啟動(dòng)。

6.在確認(rèn)各配置文件正確后,如果不能正常連接到 HDFS 或 Yarn 平臺(tái),嘗試更換瀏覽器,推薦 ? ? ? ? 電腦自帶的 ie 瀏覽器。

二、MapReduce 錯(cuò)誤



? 以上便是一些簡(jiǎn)單的常見錯(cuò)誤,希望對(duì)大家能有所幫助。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 終極算法 關(guān)注微信號(hào)每天收聽我們的消息終極算法為您推送精品閱讀 前言 Hadoop 在大數(shù)據(jù)技術(shù)體系中的地位至關(guān)...
    Yespon閱讀 131,080評(píng)論 12 168
  • 一、系統(tǒng)參數(shù)配置優(yōu)化 1、系統(tǒng)內(nèi)核參數(shù)優(yōu)化配置 修改文件/etc/sysctl.conf,添加如下配置,然后執(zhí)行s...
    張偉科閱讀 3,923評(píng)論 0 14
  • 這一周心情一直有點(diǎn)低迷,工作上年底任務(wù)越來(lái)越重,有種焦慮感;不做事的“邀功精”受到了領(lǐng)導(dǎo)表?yè)P(yáng),做多錯(cuò)多的自己卻挨了...
    好聽的暖陽(yáng)閱讀 361評(píng)論 10 14
  • 昏黃的路燈下 冒著細(xì)雨 一個(gè)人狂奔 側(cè)身的車輛呼嘯而過(guò) 雨水打在臉上 淋在身上 也落在了心里 我想,我是真的累了 ...
    紅塵多擾閱讀 286評(píng)論 1 1

友情鏈接更多精彩內(nèi)容