hadoop報(bào)could only be replicate...的解決辦法

跑wordcount demo的時(shí)候一直報(bào)類似錯(cuò)誤:

······job.jar could only be replicated to 0 nodes instead of minreplication(=1).there are 0 datanode(s) running and no node(s) are excluded in this operation

搜了各種解決辦法都不能解決,感覺挺坑的。最終綜合網(wǎng)上各種措施,得出以下解決辦法:
1:關(guān)閉防火墻
2:檢查ssh是否配置成功,master和各節(jié)點(diǎn)是否能夠 暢通無阻。
3:刪除hadoop目錄下的tmp文件夾(比如我的是在/home/hadoop/下),然后重新創(chuàng)建tmp文件夾。
4:檢查hadoop下的配置文件hdfs-site.xml和core-site.xml中的dfs.datanode.data.dir,hadoop.tmp.dir指向的是否是同一個(gè)目錄(第3步中我們重新創(chuàng)建的tmp目錄),如果不是請(qǐng)修改成tmp所在的目錄地址。
5:修改完以上兩個(gè)配置文件后,重新拷貝到其他節(jié)點(diǎn)上,保持配置文件的一致性。我是把整個(gè)hadoop文件夾都拷貝過去了。如:

         scp /home/hadoop node1:/home/
         scp /home/hadoop node2:/home/

修改完之后,重新啟動(dòng):start-all.sh
創(chuàng)建兩個(gè)文件f1.txt,f2.txt。隨便寫入點(diǎn)內(nèi)容.
創(chuàng)建input文件夾,并把*.txt上傳自此:
hadoop fs -mkdir /home/input
hadoop fs -put f1.txt /home/input
hadoop fs -put f2.txt /home/input
輸入運(yùn)行:

hadoop jar /home/hadoop/hadoop-2.7.3/share/hadoop/mapreduce-examples-2.7.3.jar wordcount /home/input /home/output

最后終于通過,沒有再報(bào)錯(cuò)。。。。。。我勒個(gè)去。
剛接觸hadoop,好多錯(cuò)誤出現(xiàn)時(shí)一臉悶逼,記錄一下,在坑里越走越遠(yuǎn)。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容