1、java.net.NoRouteToHostException: No route to host?
解決方法：zookeeper的IP要配對?
2、Failed to locate the winutils binary in the hadoop binary path?
解決方法:先安裝好hadoop?
3、CALL TO LOCALHOST/127.0.0.1:9000?
解決方法：host配置正確，/etc/sysconfig/network??? /etc/hosts??? /etc/sysconfig/network-scripts/ifcfg-eth0?
4、打開namenode:50070頁面，Datanode Infomation只顯示一個節(jié)點(diǎn)?
解決方法：SSH配置錯誤導(dǎo)致，主機(jī)名一定要嚴(yán)格匹配，重新配置ssh免密碼登錄?
5、建議：不要隨意格式化HDFS，這會帶來數(shù)據(jù)版本不一致等諸多問題，格式化前要清空數(shù)據(jù)文件夾?
6、namenode1: ssh: connect to host namenode1 port 22: Connection refused?
解決方法：sshd被關(guān)閉或沒安裝導(dǎo)致，which sshd檢查是否安裝，若已經(jīng)安裝，則sshd restart，并ssh 本機(jī)hostname，檢查是否連接成功?
7、Log aggregation has not completed or is not enabled.?
解決方法：在yarn-site.xml中增加相應(yīng)配置，以支持日志聚合?
8、Exception in thread "main" org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master.?
解決方法：yarn-lient模式出現(xiàn)的異常，暫時無解?
9、hadoop的文件不能下載以及YARN中Tracking UI不能訪問歷史日志?
解決方法：windows系統(tǒng)不能解析域名所致，把hosts文件hostname復(fù)制到windows的hosts中?
10、建議：HDFS文件路徑寫法為：hdfs://master:9000/文件路徑，這里的master是namenode的hostname,9000是hdfs端口號。?
11、Yarn JobHistory Error: Failed redirect for container?
解決方法：將 http://:19888/jobhistory/logs? 配置到y(tǒng)arn-site.xml中，重啟yarn和JobHistoryServer?
12、通過hadoop UI訪問hdfs文件夾時，出現(xiàn)提示 Permission denied: user=dr.who?
解決方法：namonode節(jié)點(diǎn)終端執(zhí)行：hdfs dfs -chmod -R 755 /?
13、建議：提交到y(tǒng)arn cluster的作業(yè)不能直接print到控制臺，要用log4j輸出到日志文件中?
14、log4j:WARN Unsupported encoding?
解決方法：1.把UTF改成小寫utf-8??? 2.設(shè)置編碼那行有空格?
15、 ERROR ApplicationMaster: SparkContext did not initialize after waiting for 100000 ms. Please check earlier log output for errors. Failing the application
解決方法：資源不能分配過大,或者沒有把.setMaster("local")去掉
16、Yarn的RM單點(diǎn)故障?
解決方法：通過三節(jié)點(diǎn)zookeeper集群和yarn-site.xml配置文件完成Yarn HA?
17、Yarn HA環(huán)境下，通過web訪問history日志被跳轉(zhuǎn)到8088而無法顯示?
解決方法：恢復(fù)Yarn Http默認(rèn)端口8088?
18、Using config: /work/poa/zookeeper-3.4.6/bin/../conf/zoo.cfg? Error contacting service. It is probably not running.?
解決方法：配置文件不正確，例如hostname不匹配等?
19、linux服務(wù)器磁盤爆滿，檢查超過指定大小的文件?
解決方法：find / -type f -size +10G??
20、HADOOP 磁盤滿的各節(jié)點(diǎn)平衡?
解決方法：運(yùn)行指令hdfs balancer -Threshold 3 或者 運(yùn)行 start-balancer.sh 腳本格式：$Hadoop_home/bin/start-balancer.sh -threshold，參數(shù)3是比例參數(shù)，表示3%，也就是平各個DataNode直接磁盤使用率偏差在3%以內(nèi)?
21、建議：數(shù)據(jù)傾斜只發(fā)生在shuffle過程，可能觸發(fā)shuffle操作的算子有：distinct? groupByKey? reduceByKey? aggregateByKey? join? cogroup? repartition等?
22、啟動hadoop yarn,發(fā)現(xiàn)只啟動了ResourceManager，沒有啟動NodeManager?
解決方法：yarn-site.xml配置有問題，檢查并規(guī)范各項(xiàng)配置?
23、如何查看hadoop系統(tǒng)日志?
解決方法：Hadoop 2.x中YARN系統(tǒng)的服務(wù)日志包括ResourceManager日志和各個NodeManager日志，它們的日志位置如下：ResourceManager日志存放位置是Hadoop安裝目錄下的logs目錄下的yarn-*-resourcemanager-*.log，NodeManager日志存放位置是各個NodeManager節(jié)點(diǎn)上hadoop安裝目錄下的logs目錄下的yarn-*-nodemanager-*.log?
24、建議：小于128M的小文件都會占據(jù)一個128M的BLOCK，合并或者刪除小文件節(jié)省磁盤空間?
25、how to remove Non DFS Used?
解決方法：1）清除hadoop數(shù)據(jù)目錄中用戶緩存文件：cd /data/hadoop/storage/tmp/nm-local-dir/usercache;du -h;rm -rf `find? -type f -size +10M`;? 2）清理Linux文件系統(tǒng)中的垃圾數(shù)據(jù)?
26、linux profile配置文件隔離?
解決方法：cd /etc/profile.d;在這里新建相應(yīng)配置腳本?
27、啟動yarn，發(fā)現(xiàn)只啟動了部分Nodemanager?
解決方法：未啟動的節(jié)點(diǎn)缺少yarn相關(guān)包，要保持所有節(jié)點(diǎn)jar包一致?
28、HDFS誤刪文件如何恢復(fù)解決方法：core-site文件中加入?
???? fs.trash.interval?
???? 2880?
???? HDFS垃圾箱設(shè)置，可以恢復(fù)誤刪除，配置的值為分鐘數(shù)，0為禁用?
恢復(fù)文件執(zhí)行 hdfs dfs -mv? /user/root/.Trash/Current/誤刪文件??? /原路徑?
29、改了linux定時腳本里邊部分任務(wù)順序，導(dǎo)致有些任務(wù)未執(zhí)行，而有些重復(fù)執(zhí)行?
解決方法：Linux腳本修改后實(shí)時生效，務(wù)必在腳本全部執(zhí)行完再修改，以免產(chǎn)生副作用?
