Hadoop主要包含四個模塊
- Hadoop Common: 為其他Hadoop模塊提供基礎(chǔ)設(shè)施。
- Hadoop HDFS: 一個高高靠、高吞吐量的分布式文件系統(tǒng)。
- Hadoop MapReduce: 一個分布式的計算框架，包括任務(wù)調(diào)度和集群資源管理。
- Hadoop YARN: 一個新的MapReduce框架
環(huán)境#
maven##
最新的Hadoop采用maven作為項目構(gòu)建工具，所以系統(tǒng)需要安裝maven。
protoc 2.5.0##
hadoop的編譯需要protoco 2.5。如果沒有安裝，編譯的時候會報錯誤
"protoc -version doesn't report a value"
下載protobuf-2.5.0.tar.gz ，然后
tar -zxvf protobuf-2.5.0.tar.gz
cd protocobuf-2.5.0
.configure
make
sudo make install
然后檢查protoc是否正確安裝
protoc -version
如果出現(xiàn)以下錯誤“protoc: error while loading shared libraries: libprotoc.so.8: cannot open shared object file: No such file or directory”，那么再執(zhí)行下面的命令即可
sudo ldconfig
編譯#
首先在github上下載hadoop源碼。
然后進(jìn)入hadoop源碼目錄，執(zhí)行以下命令
mvn install -DskipTests
mvn eclipse:eclipse -DdownloadSources=true -DdownloadJavadocs=true
然后就可以編譯了
mvn package -Pdist -DskipTests -Dtar
編譯結(jié)果在每個項目的target下面。
比如，hadoop-hdfs的編譯結(jié)果在
hadoop-hdfs-project/hadoop-hdfs/target/hadoop-hdfs-2.7.2
