2018-03-30

window下解決hadoop的Unable to load native-hadoop library的一種可行方案

首先,window7上已經(jīng)安裝了JDK1.8版本, scala2.12.5版本,hadoop2.7.0版本,spark2.2.0版本,并且配置好了相應(yīng)的環(huán)境變量。但是在cmder(一種win下替代cmd的非常強(qiáng)大的工具,內(nèi)置了Linux的一些命令,并且可以使用vim)下輸入spark-shell,結(jié)果報(bào)了三個(gè)警告。

1、?Unable to load native-hadoop library for your platform...。上網(wǎng)上看了很多教程,有建議升級(jí)glibc版本的,有認(rèn)為是32和64位版本不對(duì)的。但試了很多方案都不能解決問(wèn)題。后來(lái),看到有的博客建議到Github上下載winutils.exe,我就試著把https://github.com/steveloughran/winutils下面的hadoop2.7.1的bin文件替換了hadoop目錄下的bin文件,結(jié)果就不報(bào)錯(cuò)了,注意是整個(gè)替換bin文件,而不是只將winutils.exe添加到hadoop的bin目錄下,否則還是會(huì)報(bào)錯(cuò)的。

2、?The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwx------這個(gè)錯(cuò)誤的解決參考了http://www.mamicode.com/info-detail-1474722.html這篇內(nèi)容,直接在cmder下輸入hadoop fs -chmod 777 /tmp/hive就行了。

3、 Plugin (Bundle) "org.datanucleus.api.jdo" is already registered. Ensure you dont have multiple JAR versions of the same plugin in the classpath.這個(gè)問(wèn)題尚未解決,但好像不影響正常使用。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容