1、下載maven
http://mirror.bit.edu.cn/apache/maven/maven-3/?到該地址下下載tar.gz文件
將該文件解壓
tar -zxf .....tar.gz
mv apache-maven-3.3.9/ /app/lib/(或者/usr/lib/下,沒有測試)
2、修改系統(tǒng)變量的配置文件profile
sudo /etc/profile
在JDK配置文件下方添加如下命令
export MAVEN_HOME=/app/lib/apache-maven-3.3.9
export PATH=$PATH:$MAVEN_HOME/bin
編譯配置文件
source /etc/profile
測試是否安裝成功
mvn -version
3、安裝svn、 autoconf automake libtool cmake、ncurses-devel、openssl-devel、gcc*
使用yum 安裝
sudo yum install svn
提示該命令已經(jīng)被廢除,
Yum command has been deprecated, redirecting to '/usr/bin/dnf install svn'.
See 'man dnf' and 'man yum2dnf' for more information.
To transfer transaction metadata from yum to DNF, run:
'dnf install python-dnf-plugins-extras-migrate && dnf-2 migrate'
使用man dnf命令發(fā)現(xiàn),今后dnf將成為替代yum的新的API命令??梢灾苯邮褂?sudo dnf install svn 代替上述命令。
(實測,該命令沒有顯示被廢除的提示)
4、安裝 protobuf
因為是谷歌的部件,因此不能直接在官方網(wǎng)站下載,為大家找到一個百度云的連接
http://pan.baidu.com/s/1pJlZubT
該步驟是在上一步安裝完gcc*后才能安裝,下載后將該文件解壓,移到目錄下
tar -zxf ....gz
mv ... /app/lib
進(jìn)入到運行目錄
cd /app/lib/protobuf-2.5.0/
每一個都運行時間較長,耐心等待。
sudo ./configure
sudo make
sudo make check
sudo make install
成功后
使用protoc,會返回missing input file,表示運行成功。
下一步就是編譯運行Hadoop了,上述命令中的具體含義,下次再進(jìn)行分析和解釋。
備注:對于protobuffer是谷歌的一種新的定義的傳輸數(shù)據(jù)結(jié)構(gòu),是使用二進(jìn)制編碼。類似對比是json、xml
接下來是使用svn進(jìn)行Hadoop源碼的下載和編譯,用時較長,大概四十分鐘
1、創(chuàng)建
cd /app
mkdir compile
svn checkout?http://svn.apache.org/repos/asf/hadoop/common/tags/release-2.2.0獲取時間較長,大小約75.3M
2、因為據(jù)說hadoop-2.2.0有一個模塊問題,需要修復(fù)
在第一步完成之后,進(jìn)入到release-2.2.0/hadoop-common-project/hadoop-auth/pom.xml
添加獨立包
直接修改hadoop-common-project/hadoop-auth/pom.xml,其實就是少了一個包,添加一個dependency:
org.mortbay.jetty
jetty-util
test
3、進(jìn)入到release-2.2.0目錄下,即Hadoop根部木下執(zhí)行代碼
mvn package -Pdist,native -DskipTests –Dtar(備注,據(jù)說不能拷貝進(jìn)入,會報錯誤,需要手動輸入)過程會比較長,約半個小時