配置環(huán)境: centos 7.6 jdk version:1.8.0_171 hadoop version:2.9.2 主機(jī)1名稱:hadoop101
端口號(hào)測(cè)試連通命令: nc -vz -w 2 172.16.9.101 50070 注:需關(guān)閉遠(yuǎn)程主機(jī)防火墻??
一、 jdk與hadoop環(huán)境搭建
1、將jdk與hadoop解壓至/opt/module目錄下,module為自定義文件夾
2、在/etc/profile文件末尾添加如下配置? ? ? ?
##JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_171
export PATH=$PATH:$JAVA_HOME/bin
##HaDOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
source /etc/profile? 使其生效
3、檢查是否安裝成功命令jdk version、hadoop
二、偽分布模式配置
1、配置java_home環(huán)境變量
?etc/hadoop/hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_171
2、etc/hadoop/core-site.xml:
<configuration>
<!--指定HDFS中NameNode的地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop101:9000</value>
</property>
<!--指定hadoop運(yùn)行時(shí)產(chǎn)生文件的存儲(chǔ)目錄-->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.9.2/data/tmp</value>
</property>
</configuration>
etc/hadoop/hdfs-site.xml:
<configuration>
<!--配置副本數(shù)，默認(rèn)為3-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
三、啟動(dòng)hdfs
1、bin/hdfs namenode -format? 第一次可格式化數(shù)據(jù)，慎用
sbin/hadoop-daemon.sh start namenode? 啟動(dòng)namenode
sbin/hadoop-daemon.sh start datanode? 啟動(dòng)datanode
2、使用hdfs命令范例： 可在hadoop101:50070查看
bin/hdfs dfs + 執(zhí)行命令
創(chuàng)建目錄
bin/hdfs dfs -mkdir -p /user/linan/input
上傳本地文件至hdfs
bin/hdfs dfs -put wcinput/wc.input /user/linan/input/
四、啟動(dòng)yarn
1、配置
1. etc/hadoop/yarn-env.sh 、 mapred-env.sh:export JAVA_HOME=/opt/module/jdk1.8.0_171
etc/hadoop文件夾下重命名: mv mapred-site.xml.template? mapred-site.xml? ? ? ?
2.? ? etc/hadoop/yarn-site.xml:
<!-- reducer 獲取數(shù)據(jù)的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定yarn的resourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop101</value>
</property>
3. etc/hadoop/mapred-site.xml:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!-- 歷史服務(wù)器地址-->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop101:10020</value>
</property>
<!-- 歷史web服務(wù)器地址-->
<property>
<name>mapreduce.jobhistory.webapp.address</name><value>hadoop101:19888</value>
</property>
2、啟動(dòng)
啟動(dòng)resourcemanager
sbin/yarn-daemon.sh start resourcemanager
啟動(dòng)nodemanager
sbin/yarn-daemon.sh start nodemanager
啟動(dòng)歷史服務(wù)器
sbin/mr-jobhistory-daemon.sh start historyserver
五、配置日志聚集
開啟日志聚集功能需重啟nodemanager、resourcemanager、historyserver
1、配置etc/hadoop/yarn-site.xml:
<!-- 開啟-->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留1周-->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
