操作系統(tǒng)環(huán)境centos6.7 x86_64
jdk版本：1.8.0_172（java 最低版本1.7）
hadoop：2.8.5

hadoop的默認(rèn)native lib是32位，所以在啟動(dòng)和使用hdfs命令時(shí)會(huì)出現(xiàn)如下信息，

Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

如果只是使用hadoop的非hdfs的功能，可以通過(guò)日志信息屏蔽掉這個(gè)提示；如果要使用hdfs的功能，就需要重新編譯hadoop。hadoop的下載地址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8.5/，編譯hadoop之前，需安裝一些組件：

1，安裝組件

#yum install –y autoconf automake libtool
#yum install –y glibc-headers
#yum install –y gcc
#yum install –y gcc-c++
#yum install –y lzo-devel zlib-devel
#yum install –y openssl-devel

2，安裝cmake

下載地址：http://www.cmake.org/files/v2.8/cmake-2.8.10.2.tar.gz，安裝路徑為/opt/cmake

#mkdir -p /opt/cmake
#cd /opt/cmake
#wget http://www.cmake.org/files/v2.8/cmake-2.8.10.2.tar.gz
# tar -xvf cmake-2.8.10.2.tar.gz
#ln -s cmake-2.8.10.2 cmake
#cd cmake
# ./bootstrap
#gmake
#gmake install

3，安裝protobuf

下載地址：https://github.com/protocolbuffers/protobuf/releases?after=v3.0.0-alpha-1（hadoop-2.8.5使用protobuf的最低版本是2.5）

#mkdir –p /opt/protobuf
#tar –xvf protobuf-2.5.0.tar
#ln –s protobuf-2.5.0 protobuf
#./configure --prefix=/usr/protobuf
#make
#make install

安裝完成，將protobuf配置到環(huán)境變量，可以在/etc/profile文件末尾添加，然后測(cè)試一下安裝：

#protoc –version

輸出內(nèi)容：libprotoc 2.5.0

4，安裝maven

使用maven3.0.0以上版本，下載地址：http://www-eu.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz，安裝之前確保已配置java環(huán)境變量。

#mkdir -p /opt/maven
#wget http://www-eu.apache.org/dist/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz
#tar –xvf apache-maven-3.5.4-bin.tar.gz
#ln –s apache-maven-3.5.4 maven

將maven以同樣的方式添加到系統(tǒng)環(huán)境變量，并配置maven鏡像，可以是apache，或則ali的鏡像。

5，編譯hadoop

#mkdir -p /opt/hadoop
#cd /opt/hadoop
#tar -xvf hadoop-2.8.5-src.tar.gz
#ln –s hadoop-2.8.5-src hadoop-src
#cd hadoop-src
#mvn package -Pdist,native -DskipTests -Dtar

等待hadoop編譯完成，在hadoop-disk/target下，可以看到編譯完成的hadoop文件

將hadoop-2.8.5拷貝到/opt/hadoop/下

#cp hadoop-2.8.5 /opt/hadoop/
#cd /opt/hadoop
#ln -s hadoop-2.8.5 hadoop

6，配置偽分布式hadoop

按照haddop官網(wǎng)的配置方式，實(shí)現(xiàn)最簡(jiǎn)配置：
1，編輯hadoop-env.sh，在文件中配置如下信息：

export JAVA_HOME=/usr/jdk/instances/jdk1.8.0_172
export HADOOP_LOG_DIR=/opt/hadoop/logs/pid_dir
export HADOOP_PID_DIR=/opt/hadoop/logs/pid

2，編輯core-site.xml，在configuration節(jié)點(diǎn)下添加如下內(nèi)容

        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/hadoop/tmp</value>
        </property>

3，編輯hdfs-site.xml，在configuration節(jié)點(diǎn)下添加如下內(nèi)容

        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>

4，設(shè)置面密碼登錄

#ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
#cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
#chmod 0600 ~/.ssh/authorized_keys

5，初始化

#cd /opt/hadoop/hadoop/bin
#./hadoop namenode -format

6，啟動(dòng)

#cd /usr/hadoop/hadoop/sbin
#./start-ds.sh

服務(wù)啟動(dòng)后，檢查是否存在warning信息，同時(shí)使用http://localhost:50070/查看