Hadoop的Snappy安裝配置

1.snappy編譯安裝

下載snappy,編譯。
前置條件:gcc c++, autoconf, automake, libtool, Java 6, JAVA_HOME set, Maven 3
1)運(yùn)行:autogen.sh
2)運(yùn)行:
./configure
make
make check
make install
3)驗(yàn)證:查看/usr/local/lib下面是否有l(wèi)ibsnappy.*

4)拷貝到其他集群:scp -r ./google-snappy-2d99bd1/ bigdata@xxx:/ssd/bigdata/install/

2. Hadoop Snappy 編譯安裝

1、下載
2、The built tarball is at target/hadoop-snappy-0.0.1-SNAPSHOT.tar.gz. The tarball includes snappy native library。
解壓拷貝:
cp -r * $HADOOP_HOME/lib
scp -r * bigdata@xxx:/ssd/bigdata/software/hadoop/lib
3、配置環(huán)境變量:
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/
export
HBASE_LIBRARY_PATH=$HBASE_LIBRARY_PATH:$HBASE_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/

2°、修改$HADOOP_HOME/etc/hadoop/core-site.xml:
<property>
<name>io.compression.codecs</name>
<value>
org.apache.hadoop.io.compress.GzipCodec,
org.apache.hadoop.io.compress.DefaultCodec,
org.apache.hadoop.io.compress.BZip2Codec,
org.apache.hadoop.io.compress.SnappyCodec
</value>
</property>
3°、修改$HADOOP_HOME/etc/hadoop/mapred-site.xml中有關(guān)壓縮屬性,測(cè)試snappy:
<property>
<name>mapreduce.map.output.compress</name>
<value>true</value>
</property>
<property>
<name>mapreduce.map.output.compress.codec</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>
4°、驗(yàn)證
hadoop checknative -a

5、最終編譯了hadoop2.7.3的源碼:
https://www.58jb.com/html/113.html 來(lái)支持了snappy。
編譯進(jìn)行一半,只要把snappy編譯出來(lái)即可。
參考:
http://www.cnblogs.com/zlzhoulei/p/5735698.html
http://blog.csdn.net/bbaiggey/article/details/53583923
http://www.micmiu.com/bigdata/hadoop/hadoop-snappy-install-config/

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 1 目的將hadoop 2.7.1 安裝到 166、167、168 三臺(tái)機(jī)器上2 提供環(huán)境練習(xí)環(huán)境192.168....
    灼灼2015閱讀 3,622評(píng)論 4 40
  • github鏈接 針對(duì)Hive的優(yōu)化主要有以下幾個(gè)方面: map reduce file format shuff...
    zoyanhui閱讀 6,450評(píng)論 2 33
  • --------"道路是曲折的,前途是光明的。"最近又涉及到了hadoop以及spark的安裝,之前課題設(shè)計(jì)中有要...
    九七學(xué)姐閱讀 3,224評(píng)論 3 5
  • 1、感恩父母給予我生命。 2、感恩祖輩將我養(yǎng)育。 3、感恩母親、祖母為家的巨大付出。 4、感恩親友們對(duì)我家的照顧。...
    朱曉軍閱讀 217評(píng)論 0 0
  • 5.27問(wèn)題及解答 親愛(ài)的小伙伴們,又到每周五的提問(wèn)時(shí)間了,請(qǐng)將要提的問(wèn)題接龍,記得總共10條以內(nèi)哦。感恩小伙伴們...
    韓艾辰閱讀 260評(píng)論 0 0

友情鏈接更多精彩內(nèi)容