Hadoop常見(jiàn)錯(cuò)誤

1.hadoop采集的字符集問(wèn)題

修改/etc/sysconfig/i18n 更改字符集為en_US.UTF-8 重啟機(jī)器生效。

?重啟機(jī)器的指令為:在root下敲入如下指令:sync;sync;init 6

2.修改mapreduce 在gateway/性能下修改:

MapReduce 子 Java 基礎(chǔ)選項(xiàng) 、Map 任務(wù) Java 選項(xiàng)庫(kù) 、Reduce 任務(wù) Java 選項(xiàng)庫(kù) 全部配置成 -Xmx4294967296

在TASKTRACKER/性能下修改:MapReduce 子 Java 基礎(chǔ)選項(xiàng) 、Map 任務(wù) Java 選項(xiàng)庫(kù) 、Reduce 任務(wù) Java 選項(xiàng)庫(kù) 全部配置成 -Xmx4294967296

3.redis掛死,導(dǎo)致無(wú)法采集

#現(xiàn)象

?redis.clients.jedis.exceptions.JedisDataException:

MISCONF Redis is configured to save RDB snapshots,

?but is currently not able to persist on disk.

啟動(dòng)客戶端: /usr/local/redis/redis-cli

輸入: config set stop-writes-on-bgsave-error no

4.zookeeper無(wú)法啟動(dòng) 處理辦法:

到master主機(jī)的/var/lib/zookeeper,刪除所有的文件,重啟zookeeper即可。

sudo mkdir version-2

sudo chown -R zookeeper:zookeeper version-2

5.如果datanode連接不上namenode,導(dǎo)致datanode無(wú)法啟動(dòng)。

報(bào)錯(cuò):ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to … failed on local exception: java.net.NoRouteToHostException: No route to host 關(guān)閉防火墻

輸入:service iptables stop

6.集群一些易錯(cuò)問(wèn)題

錯(cuò)誤現(xiàn)象:namenode in safe mode.

原因:hadoop進(jìn)入安全模式。

?解決方法:在shell中執(zhí)行命令hadoop dfsadmin -safemode leave 使hadoop離開(kāi)安全模式。

7.防火墻一定記得查看?。。?/h1>

錯(cuò)誤現(xiàn)象:java.net.NoRouteToHostException: No route to host.

?原因:master服務(wù)器上的防火墻沒(méi)有關(guān)閉。

?解決方法: 在master上關(guān)閉防火墻: chkconfig iptables off.

8.虛擬機(jī)內(nèi)存設(shè)置

問(wèn)題:java.lang.OutOfMemoryError: Java heap space

原因:出現(xiàn)這種異常,明顯是 jvm 內(nèi)存不夠得原因,要修改所有的 datanode 的 jvm 內(nèi)存大小。

解決:執(zhí)行命令Java -Xms1024m -Xmx4096m一般 jvm 的最大內(nèi)存使用應(yīng)該為總內(nèi)存大小的一半,我們使用的 8G 內(nèi)存,所以設(shè)置為 4096m,這一值可能依舊不是最優(yōu)的值。

?????? 作為一個(gè)小白,可能有些問(wèn)題不是那么深。都是一些較為常見(jiàn)的問(wèn)題,路過(guò)的大佬,多多指教!

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 關(guān)于Mongodb的全面總結(jié) MongoDB的內(nèi)部構(gòu)造《MongoDB The Definitive Guide》...
    中v中閱讀 32,295評(píng)論 2 89
  • 終極算法 關(guān)注微信號(hào)每天收聽(tīng)我們的消息終極算法為您推送精品閱讀 前言 Hadoop 在大數(shù)據(jù)技術(shù)體系中的地位至關(guān)...
    Yespon閱讀 131,114評(píng)論 12 168
  • 本文先對(duì)鏈家網(wǎng)最新的武漢二手房數(shù)據(jù)進(jìn)行爬取,提取房?jī)r(jià)面積和平米單價(jià)并以逗號(hào)分割存儲(chǔ)在txt文件中,最后對(duì)數(shù)據(jù)分別進(jìn)...
    Acamy丶閱讀 959評(píng)論 0 0
  • 3.1. 什么是密碼學(xué)?什么是密碼系統(tǒng)?什么是明文?什么是密文?什么是加密?什么是密鑰? 用這樣的一個(gè)故事或許可以...
    寫不出字的草菇閱讀 212評(píng)論 0 1
  • 想帶你去看晨露晶瑩,帶你去看湖光微漾,可惜你不在。。。所以鏡頭里咩有你感覺(jué)超級(jí)美啊
    壹馥日閱讀 288評(píng)論 0 2

友情鏈接更多精彩內(nèi)容