關(guān)于hadoop下 Unable to load native-hadoop library for your platform的一些總結(jié)

??在hadoop的學(xué)習(xí)過程中,遇到了WARN util.NativeCodeLoader: Unable to load native-hadoop library for yourplatform... using builtin-java classes where applicable的警告。盡管并不影響程序的正常運行,但每次使用hdfs命令時彈出警告還是略微影響使用體驗的。因此,將調(diào)試過程記錄如下:


??寫在前面:Hadoop本地庫是為了提高效率或者某些不能用Java實現(xiàn)的功能組件庫。目前只支持 *unix, 在Mac OS X和Cygwin上不提供直接支持。因此需要自己重新編譯,這里有篇文章可供參考:Mac OSX 下 Hadoop 使用本地庫提高效率

1.確認(rèn)OS位數(shù),JDK位數(shù),Hadoop本地庫位數(shù)是否一致
??OS位數(shù)查看方法:uname -a
??JDK位數(shù)查看方法:java -version
??Hadoop本地庫位數(shù)查看方法:進(jìn)入hadoop下的lib/native文件夾下 ldd libhadoop.so.1.0.0
2.路徑問題
開啟debug:直接在shell下運行下以下代碼

export HADOOP_ROOT_LOGGER=DEBUG,console

此時通過hdfs dfs -ls來查看輸出并找到如下記錄

DEBUG util.NativeCodeLoader: java.library.path=/usr/local/hadoop/lib/

如果記錄與之類似,即沒有/lib/native/結(jié)尾的路徑,說明問題的原因出在path問題上,本地庫的路徑并沒有被正確的加載。

解決方法:
在/HADOOP_HOME/etc/hadoop/中的hadoop_env.sh中修改如下信息:

export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$HADOOP_HOME/lib/native"

再次執(zhí)行hdfs dfs -ls并查看輸出,若path仍未以native/結(jié)尾,返回根目錄下執(zhí)行echo $PATH,查看$HADOOP_HOME的路徑是否正確輸出,若不存在Hadoop的路徑,則通過修改.bash_profile或者/etc/profile文件配置好Hadoop路徑并通過source /etc/profile來使配置生效

3.鏈接文件問題
查看native文件夾下libhadoop.solibhdfs.so文件是否存在,若不存在,做符號鏈接之。若存在但文件大小為0,刪除并重新做符號鏈接

ln -s libhadoop.so.1.0.0 libhadoop.so
ln -s libhdfs.so.0.0.0 libhdfs.so
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理,服務(wù)發(fā)現(xiàn),斷路器,智...
    卡卡羅2017閱讀 136,536評論 19 139
  • 經(jīng)過一系列的前期環(huán)境準(zhǔn)備,現(xiàn)在可以開始Hadoop的安裝了,在這里去apache官網(wǎng)下載2.7.3的版本http:...
    歡醉閱讀 1,823評論 8 28
  • 版權(quán)聲明:本文為博主原創(chuàng)文章,未經(jīng)博主允許不得轉(zhuǎn)載。 目錄-[-]1 先決條件2 實驗環(huán)境搭建 21 準(zhǔn)備工...
    三三At你閱讀 938評論 0 3
  • 之前的有點忘記了,這里在云筆記拿出來再玩玩.看不懂的可以留言 大家可以嘗試下Ambari來配置Hadoop的相關(guān)環(huán)...
    HT_Jonson閱讀 3,195評論 0 50
  • 前兩天和室友去了我們當(dāng)?shù)匾粋€有名的夜市,取了錢要去放肆一把。夜市,聽起來就是一個人很多很熱鬧的地方,作為還沒有經(jīng)濟...
    這是小花啊閱讀 397評論 0 0

友情鏈接更多精彩內(nèi)容