hdfs 糾刪碼集成inter isa-l

默認(rèn)hadoop不支持isa-l,執(zhí)行hadoop checknative可以看到一下結(jié)果:


image.png

編譯isa-l:

yum -y install nasm help2man
//nasm版本需要v.12以上
./autogen.sh
./configure --prefix=/usr --libdir=/usr/lib
make
sudo make install
http://archive.apache.org/dist/hadoop/common/hadoop-3.1.2/hadoop-3.1.2-src.tar.gz
mvn clean package -Pdist,native -DskipTests -Dtar -Drequire.isal -Disal.prefix=/usr/lib -Disal.lib=/usr/lib -Dbundle.isal

bigtop編譯:

//修改hadoop do-component-build
mvn $ANT_OPTS $BUNDLE_SNAPPY -Pdist -Pnative -Psrc -Dtar ${MAVEN_OPTS} install ${EXTRA_GOALS} "$@"
修改為:
mvn $ANT_OPTS $BUNDLE_SNAPPY -Pdist -Pnative -Psrc -Dtar ${MAVEN_OPTS} install -Drequire.isal -Disal.prefix=/usr/lib -Disal.lib=/usr/lib -Dbundle.isal ${EXTRA_GOALS} "$@"

覆蓋hadoop的native,執(zhí)行hadoop checknative:


image.png
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀(guān)點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 1.目的 副本是昂貴的--在HDFS中默認(rèn)的3副本機(jī)制有200%的存儲(chǔ)空間和其它的資源(比如:網(wǎng)絡(luò)帶寬)開(kāi)銷(xiāo)。然而...
    guangdong_18b7閱讀 3,443評(píng)論 0 1
  • 通過(guò)本文可以獲得如下知識(shí):① XOR碼、RS碼的基本原理和恢復(fù)過(guò)程實(shí)例。② 圖解HDFS EC中block gro...
    大數(shù)據(jù)Zone閱讀 1,493評(píng)論 0 1
  • 上一篇:096-BigData-24Hive查詢(xún)排序分桶 七、函數(shù) 7.1 系統(tǒng)自帶的函數(shù)1)查看系統(tǒng)自帶的函數(shù)h...
    AncientMing閱讀 443評(píng)論 0 1
  • 簡(jiǎn)介 ??隨著數(shù)據(jù)的存儲(chǔ)呈現(xiàn)出集中化(以分布式存儲(chǔ)系統(tǒng)為基礎(chǔ)的云存儲(chǔ)系統(tǒng))和移動(dòng)化(互聯(lián)網(wǎng)移動(dòng)終端)的趨勢(shì),數(shù)據(jù)可...
    starmier閱讀 6,239評(píng)論 0 4
  • 目的 復(fù)制是昂貴的 - HDFS中的默認(rèn)3x復(fù)制方案在存儲(chǔ)空間和其他資源(例如網(wǎng)絡(luò)帶寬)上具有200%的開(kāi)銷(xiāo)。但是...
    ghwolf1124閱讀 4,317評(píng)論 2 0

友情鏈接更多精彩內(nèi)容