?? hadoop版本：3.3.4

或者： 下載 3.3.4

環(huán)境準備

• Java 8環(huán)境

sudo apt-get install openjdk-8-jdk
java -version
# 配置環(huán)境變量
sudo echo export JAVA_HOME="/usr/lib/jvm/java-8-openjdk-amd64" >> ~/.bashrc
source ~/.bashrc 
echo $JAVA_HOME

• 其他軟件

sudo apt-get install ssh
sudo apt-get install pdsh

hadoop環(huán)境配置

• 變量設(shè)置

# 解壓文件，如果出現(xiàn)文件名過長，則放在根目錄下
# 修改 etc/hadoop/hadoop-env.sh，設(shè)置java_home
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

# 運行命令，判斷環(huán)境變量是否正確
bin/hadoop

單機節(jié)點

# 單機簡單示例，將配置xml文件拷貝到input文件夾，通過正則表達式，篩選文件放在output文件夾
mkdir input
cp etc/hadoop/*.xml input
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar grep input output 'dfs[a-z.]+'
cat output/*

偽集群節(jié)點

?&ensp；單機偽集群部署

• 變量設(shè)置

# 修改etc/hadoop/core-site.xml
<configuration>
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
   </property>
</configuration>

# 修改etc/hadoop/hdfs-site.xml
<configuration>
   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
</configuration>

• 啟動 passphraseless ssh

# 檢查本地環(huán)境
ssh localhost

# 如果不能免密登錄，則執(zhí)行命令：
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

• 執(zhí)行mapreduce任務(wù)

# 格式化文件系統(tǒng)
bin/hdfs namenode -format

# 啟動NameNode和DataNode
sbin/start-dfs.sh

# 查看NodeName
http://localhost:9870/

# 創(chuàng)建mapreduce任務(wù)所需hdfs目錄
bin/hdfs dfs -mkdir /home
bin/hdfs dfs -mkdir /home/test

# 拷貝文件的到input文件夾
bin/hdfs dfs -mkdir input
bin/hdfs dfs -put etc/hadoop/*.xml input

# 執(zhí)行樣例
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar grep input output 'dfs[a-z.]+'

# 計算結(jié)果
bin/hdfs dfs -get output output
cat output/*

# 結(jié)束節(jié)點
sbin/stop-dfs.sh

如果使用root用戶登錄，則需要在start-dfs.sh，stop-dfs.sh中設(shè)置

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root