1.hadoop采集的字符集問(wèn)題
修改/etc/sysconfig/i18n 更改字符集為en_US.UTF-8 重啟機(jī)器生效。
?重啟機(jī)器的指令為:在root下敲入如下指令:sync;sync;init 6
2.修改mapreduce 在gateway/性能下修改:
MapReduce 子 Java 基礎(chǔ)選項(xiàng) 、Map 任務(wù) Java 選項(xiàng)庫(kù) 、Reduce 任務(wù) Java 選項(xiàng)庫(kù) 全部配置成 -Xmx4294967296
在TASKTRACKER/性能下修改:MapReduce 子 Java 基礎(chǔ)選項(xiàng) 、Map 任務(wù) Java 選項(xiàng)庫(kù) 、Reduce 任務(wù) Java 選項(xiàng)庫(kù) 全部配置成 -Xmx4294967296
3.redis掛死,導(dǎo)致無(wú)法采集
#現(xiàn)象
?redis.clients.jedis.exceptions.JedisDataException:
MISCONF Redis is configured to save RDB snapshots,
?but is currently not able to persist on disk.
啟動(dòng)客戶端: /usr/local/redis/redis-cli
輸入: config set stop-writes-on-bgsave-error no
4.zookeeper無(wú)法啟動(dòng) 處理辦法:
到master主機(jī)的/var/lib/zookeeper,刪除所有的文件,重啟zookeeper即可。
sudo mkdir version-2
sudo chown -R zookeeper:zookeeper version-2
5.如果datanode連接不上namenode,導(dǎo)致datanode無(wú)法啟動(dòng)。
報(bào)錯(cuò):ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to … failed on local exception: java.net.NoRouteToHostException: No route to host 關(guān)閉防火墻
輸入:service iptables stop
6.集群一些易錯(cuò)問(wèn)題
錯(cuò)誤現(xiàn)象:namenode in safe mode.
原因:hadoop進(jìn)入安全模式。
?解決方法:在shell中執(zhí)行命令hadoop dfsadmin -safemode leave 使hadoop離開(kāi)安全模式。
7.防火墻一定記得查看?。。?/h1>
錯(cuò)誤現(xiàn)象:java.net.NoRouteToHostException: No route to host.
?原因:master服務(wù)器上的防火墻沒(méi)有關(guān)閉。
?解決方法: 在master上關(guān)閉防火墻: chkconfig iptables off.
8.虛擬機(jī)內(nèi)存設(shè)置
問(wèn)題:java.lang.OutOfMemoryError: Java heap space
原因:出現(xiàn)這種異常,明顯是 jvm 內(nèi)存不夠得原因,要修改所有的 datanode 的 jvm 內(nèi)存大小。
解決:執(zhí)行命令Java -Xms1024m -Xmx4096m一般 jvm 的最大內(nèi)存使用應(yīng)該為總內(nèi)存大小的一半,我們使用的 8G 內(nèi)存,所以設(shè)置為 4096m,這一值可能依舊不是最優(yōu)的值。
?????? 作為一個(gè)小白,可能有些問(wèn)題不是那么深。都是一些較為常見(jiàn)的問(wèn)題,路過(guò)的大佬,多多指教!