Hadoop的運(yùn)行有三種形式：

• 單實(shí)例運(yùn)行
• 偽分布式
• 完全分布式
  本文主要介紹單實(shí)例Hadoop的安裝以及使用簡(jiǎn)介。下面的安裝和配置步驟主要是為了快速安裝和體驗(yàn)Hadoop，而不是在產(chǎn)品環(huán)境下使用Hadoop。

單實(shí)例Hadoop

1.下載

從Hadoop下載主頁中選擇合適的版本下載Hadoop。
命令示例如下：

HADOOP_VERSION=hadoop-3.0.0-alpha1
wget http://apache.fayea.com/hadoop/common/${HADOOP_VERSION}/${HADOOP_VERSION}.tar.gz
wget https://dist.apache.org/repos/dist/release/hadoop/common/${HADOOP_VERSION}/${HADOOP_VERSION}.tar.gz.mds
wget https://dist.apache.org/repos/dist/release/hadoop/common/${HADOOP_VERSION}/${HADOOP_VERSION}.tar.gz.asc
wget https://dist.apache.org/repos/dist/release/hadoop/common/KEYS

2.驗(yàn)證和解壓

• 驗(yàn)證
  命令執(zhí)行類似如下：

  HADOOP_VERSION=hadoop-3.0.0-alpha1
  md5 ${HADOOP_VERSION}.tar.gz | awk '{print $4}' > mycomputation.md5
  sed -n '1,2p' ${HADOOP_VERSION}.tar.gz.mds | sed 's/[ ]//g' | awk -v RS="" -F= '{gsub("\n","");print tolower($2)}' > extraction.md5
  diff mycomputation.md5 extraction.md5
  gpg -q --import KEYS
  gpg --verify ${HADOOP_VERSION}.tar.gz.asc ${HADOOP_VERSION}.tar.gz
  

• 解壓
  驗(yàn)證解壓下載的文件，并進(jìn)入其根目錄。
  命令執(zhí)行類似如下：

  HADOOP_VERSION=hadoop-3.0.0-alpha1
  tar xzvf ${HADOOP_VERSION}.tar.gz
  cd ${HADOOP_VERSION}
  

3.設(shè)置JAVA_HOME環(huán)境變量

修改配置JAVA_HOME。
注意：
是通過修改文件etc/hadoop/hadoop-env.sh中的JAVA_HOME屬性變量。
示例如下：

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_112.jdk/Contents/Home/

4.測(cè)試安裝正常

• 通過執(zhí)行 bin/hadoop
  執(zhí)行命令bin/hadoop，正常情況應(yīng)該顯示hadoop的命令使用文檔。

• 運(yùn)行map reduce任務(wù)
  執(zhí)行如下命令：

  mkdir input
  cp etc/hadoop/*.xml input
  bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-alpha1.jar grep input output 'dfs[a-z.]+'
  cat output/*
  

偽分布式Hadoop

1.配置

• 編輯文件etc/hadoop/core-site.xml:

  <configuration>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://localhost:9000</value>
      </property>
  </configuration>
  

• 編輯文件etc/hadoop/hdfs-site.xml:

  <configuration>
      <property>
          <name>dfs.replication</name>
          <value>1</value>
      </property>
  </configuration>
  

2.無密碼ssh登陸

執(zhí)行如下命令：

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

3.執(zhí)行測(cè)試

1. 格式化文件系統(tǒng):
   bin/hdfs namenode -format

2. 啟動(dòng)NameNode daemon和DataNode daemon:

   sbin/start-dfs.sh
   

日志寫到$HADOOP_LOG_DIR目錄(缺省是$HADOOP_HOME/logs)。

3. 瀏覽NameNode的web接口:

• NameNode - http://localhost:9870/

4. 創(chuàng)建HDFS目錄來執(zhí)行MapReduce任務(wù):

   bin/hdfs dfs -mkdir /user
   bin/hdfs dfs -mkdir /user/zhengfq
   

5. 拷貝輸入文件到分布式文件系統(tǒng):

   bin/hdfs dfs -mkdir input
   bin/hdfs dfs -put etc/hadoop/*.xml input
   

6. 運(yùn)行例子:

    bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-alpha1.jar grep input output 'dfs[a-z.]+'
   

7. 檢查輸出:

    bin/hdfs dfs -cat output/*
   

8. 停止進(jìn)程:

    sbin/stop-dfs.sh
   

參考

• Apache Hadoop主頁
• Apache Hadoop文檔
• Build and Install Hadoop 2.x or newer on Windows
• 單節(jié)點(diǎn)Hadoop
• Hadoop YARN Installation: The definitive guide