hadoop單機(jī)搭建

這幾天準(zhǔn)備開始學(xué)習(xí)hadoop，網(wǎng)上很多教程說的是用虛擬機(jī)搭建分布式、偽分布式hadoop集群，整了幾天也沒弄好。上次偶遇一位高人，指點(diǎn)迷津說你為啥不搭一個(gè)單機(jī)版的hadoop。遂茅塞頓開，一個(gè)小時(shí)不到就搞定了。

首先，由于hadoop是用java寫的，所以在安裝hadoop之前呢，需要先把jdk環(huán)境裝好。

jdk的安裝在此就不贅述了，無非就是先下載，解壓，環(huán)境變量配置啥的~

hadoop安裝

• 首先你得去官網(wǎng)把下載地址搞到手：http://hadoop.apache.org/
  
  1.png

• 點(diǎn)擊Download按鈕去下載頁面：

  
  
  2.png

在這個(gè)頁面，選擇你喜歡的版本Binary download，反正我選的是2.9.2。

• 點(diǎn)擊binary標(biāo)簽，進(jìn)入下載地址頁面：

  
  
  3.png

復(fù)制這個(gè)地址，這是hadoop建議你下載的地址。

• 如果有防火墻啥的關(guān)一關(guān)，如果是云服務(wù)器的話需要配置安全組，開通兩個(gè)端口：8088和50070.

• 下載：

  使用wget下載就行了，在你喜歡的地方使用命令：

  wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz

• 解壓：

  tar -xvf hadoop-*.tar.gz

• 修改環(huán)境變量：

  vim /etc/profile

  以下是我的環(huán)境變量配置文件：

JAVA_HOME=/usr/java/jdk1.8.0_161
MAVEN_HOME=/usr/local/apache-maven-3.6.0
HADOOP_HOME=/my/hadoop/hadoop-2.9.2
HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$HADOOP_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export PATH
export CLASSPATH

路徑需要按照你自己配置的路徑去修改。

• 使環(huán)境變量生效：

  source /etc/profile

• 新建一些文件夾供hadoop使用：

mkdir  /root/hadoop  
mkdir  /root/hadoop/tmp  
mkdir  /root/hadoop/var  
mkdir  /root/hadoop/dfs  
mkdir  /root/hadoop/dfs/name  
mkdir  /root/hadoop/dfs/data

• 進(jìn)入hadoop目錄下：

  cd /my/hadoop/hadoop-2.9.2/etc/hadoop/

  • 修改core-site.xml

     <property>
      <name>hadoop.tmp.dir</name>
      <value>/root/hadoop/tmp</value>
      <description>Abase for other temporary directories.</description>
      </property>
      <property>
      <name>fs.default.name</name>
      <value>hdfs://your ip:9000</value>
      </property>
     </configuration>
  

    *   修改 hadoop-env.sh

export JAVA_HOME=${JAVA_HOME}

        修改為

export JAVA_HOME=/usr/java/jdk1.8.0_161

    *   修改hdfs-site.xml

 <property>
     <name>dfs.name.dir</name>
     <value>/root/hadoop/dfs/name</value>
     <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
    </property>
    <property>
     <name>dfs.data.dir</name>
     <value>/root/hadoop/dfs/data</value>
     <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
    </property>
    <property>
     <name>dfs.replication</name>
     <value>2</value>
    </property>
    <property>
     <name>dfs.permissions</name>
     <value>false</value>
     <description>need not permissions</description>
    </property>

    *   修改mapred-site.xml

 <property>
     <name>mapred.job.tracker</name>
     <value>test1:9001</value>
    </property>
    <property>
     <name>mapred.local.dir</name>
     <value>/root/hadoop/var</value>
    </property>
    <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
    </property>

        如果沒有這個(gè)文件的話，把mapred-site.xml.template復(fù)制一份改個(gè)名字。

*   啟動(dòng)Hadoop

    *   第一次啟動(dòng)需要初始化一下，在hadoop的`bin`目錄下執(zhí)行命令：

        `./hadoop namenode -format`

    *   啟動(dòng)命令：

        `./start-dfs.sh`

        在這之后會(huì)需要你多次輸入密碼，然后輸入yes

    *   啟動(dòng)YARN：

        `./start-yarn.sh`

    瀏覽器中輸入地址：[http://your](http://your) ip:8088/cluster

    至此單機(jī)版hadoop安裝完成。