hadoop2.x安裝maven SVN gcc等步驟

1、下載maven

http://mirror.bit.edu.cn/apache/maven/maven-3/?到該地址下下載tar.gz文件

將該文件解壓

tar -zxf .....tar.gz

mv apache-maven-3.3.9/ /app/lib/(或者/usr/lib/下,沒有測試)

2、修改系統(tǒng)變量的配置文件profile

sudo /etc/profile

在JDK配置文件下方添加如下命令

export MAVEN_HOME=/app/lib/apache-maven-3.3.9

export PATH=$PATH:$MAVEN_HOME/bin

編譯配置文件

source /etc/profile

測試是否安裝成功

mvn -version

3、安裝svn、 autoconf automake libtool cmake、ncurses-devel、openssl-devel、gcc*

使用yum 安裝

sudo yum install svn

提示該命令已經(jīng)被廢除,

Yum command has been deprecated, redirecting to '/usr/bin/dnf install svn'.

See 'man dnf' and 'man yum2dnf' for more information.

To transfer transaction metadata from yum to DNF, run:

'dnf install python-dnf-plugins-extras-migrate && dnf-2 migrate'

使用man dnf命令發(fā)現(xiàn),今后dnf將成為替代yum的新的API命令??梢灾苯邮褂?sudo dnf install svn 代替上述命令。

(實測,該命令沒有顯示被廢除的提示)

4、安裝 protobuf

因為是谷歌的部件,因此不能直接在官方網(wǎng)站下載,為大家找到一個百度云的連接

http://pan.baidu.com/s/1pJlZubT

該步驟是在上一步安裝完gcc*后才能安裝,下載后將該文件解壓,移到目錄下

tar -zxf ....gz

mv ... /app/lib

進(jìn)入到運行目錄

cd /app/lib/protobuf-2.5.0/

每一個都運行時間較長,耐心等待。

sudo ./configure

sudo make

sudo make check

sudo make install

成功后

使用protoc,會返回missing input file,表示運行成功。


下一步就是編譯運行Hadoop了,上述命令中的具體含義,下次再進(jìn)行分析和解釋。


備注:對于protobuffer是谷歌的一種新的定義的傳輸數(shù)據(jù)結(jié)構(gòu),是使用二進(jìn)制編碼。類似對比是json、xml

接下來是使用svn進(jìn)行Hadoop源碼的下載和編譯,用時較長,大概四十分鐘

1、創(chuàng)建

cd /app

mkdir compile

svn checkout?http://svn.apache.org/repos/asf/hadoop/common/tags/release-2.2.0獲取時間較長,大小約75.3M

2、因為據(jù)說hadoop-2.2.0有一個模塊問題,需要修復(fù)

在第一步完成之后,進(jìn)入到release-2.2.0/hadoop-common-project/hadoop-auth/pom.xml

添加獨立包

直接修改hadoop-common-project/hadoop-auth/pom.xml,其實就是少了一個包,添加一個dependency:

org.mortbay.jetty

jetty-util

test

3、進(jìn)入到release-2.2.0目錄下,即Hadoop根部木下執(zhí)行代碼

mvn package -Pdist,native -DskipTests –Dtar(備注,據(jù)說不能拷貝進(jìn)入,會報錯誤,需要手動輸入)過程會比較長,約半個小時

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容