一、配置Java環(huán)境，推薦使用jdk1.7以上。

1、下載安裝jdk包并解壓
tar -zxvf jdk-8u161-linux-x64.tar.gz
2、移動jdk并重命名
sudo mv jdk-8u161-linux-x64.tar.gz /usr/app/jdk
3、配置系統(tǒng)變量，編輯.bashrc文件

export JAVA_HOME=/usr/app/jdk

export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

4、使系統(tǒng)變量生效
source .bashrc
5、檢查Java環(huán)境是夠配置成功

java -version
javac

二、配置免密碼登錄

1、測試是否能否無密碼遠(yuǎn)程連接到本地
ssh localhost
2、安裝ssh服務(wù)
sudo apt install openssh-server
3、配置免密碼登錄

ssh-keygen -t rsa -P '' 
cat ~/.ssh/id_rsa.pub >> authorized_keys

三、安裝Hadoop.

這里采用cloudera公司發(fā)行版hadoop-2.6.0-cdh5.6.0.tar.gz版本

1、解壓并移動\重命名到指定位置

tar -zxvf hadoop-2.6.0-cdh5.6.0.tar.gz
sudo mv hadoop-2.6.0 /usr/app/hadoop

2、配置Hadoop中相應(yīng)的文件

需要配置的文件如下，hadoop-env.sh，core-site.xml，mapred-site.xml.template，hdfs-site.xml，所有的文件均位于hadoop2.7.1/etc/hadoop下面，具體需要的配置如下：
1>hadoop-env.sh

...
# The java implementation to use.
export JAVA_HOME=/usr/app/jdk

# The jsvc implementation to use. Jsvc is required to run secure datanodes
# that bind to privileged ports to provide authentication of data transfer
...

2>core-site.xml

<configuration>
 <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
    <description>HDFS的URI，文件系統(tǒng)://namenode標(biāo)識:端口號</description>
</property>

<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/hadoop/tmp</value>
    <description>namenode上本地的hadoop臨時(shí)文件夾</description>
</property>
</configuration>

3>hdfs-site.xml

<configuration>
<property>
    <name>dfs.name.dir</name>
    <value>/usr/hadoop/hdfs/name</value>
    <description>namenode上存儲hdfs名字空間元數(shù)據(jù) </description> 
</property>

<property>
    <name>dfs.data.dir</name>
    <value>/usr/hadoop/hdfs/data</value>
    <description>datanode上數(shù)據(jù)塊的物理存儲位置</description>
</property>

<property>
    <name>dfs.replication</name>
    <value>1</value>
    <description>副本個(gè)數(shù)，配置默認(rèn)是3,應(yīng)小于datanode機(jī)器數(shù)量</description>
</property>
</configuration>

4>配置mapred-site.xml文件

    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>

5>配置yarn-site.xml

    <configuration>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
            </property>
    </configuration>

注明：在偽分布式下4,5可不用配置yarn啟動

3、配置Hadoop系統(tǒng)環(huán)境變量

    export HADOOP_HOME=/usr/app/hadoop
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

4、格式化文件系統(tǒng)

bin/hdfs namenode -format

5、啟動守護(hù)進(jìn)程

sbin/start-dfs.sh

6、啟動yarn

sbin/start-yarn.sh 

啟動yarn之前，需要先執(zhí)行過 sbin/start-dfs.sh

至此，hadoop偽分布式環(huán)境搭建完成，生產(chǎn)環(huán)境使用cloudera manager進(jìn)行分布式安裝。
接下來，將依次進(jìn)行hive,hbase,sqoop,spark的安裝。