15、配置hdfs-site.xml
修改hadoop目錄下conf/hdfs-site.xml的配置文件,在標(biāo)簽中添加如下內(nèi)容:
<property>
????<name>dfs.replication</name>
????<value>1</value>
</property>
<property>
????<name>dfs.namenode.name.dir</name>
????<value>/home/${user.name}/dfs_name</value>
</property>
<property>
????<name>dfs.datanode.data.dir</name>
????<value>/home/${user.name}/dfs_data</value>
</property>
<property>
????????<name>dfs.support.append</name>
????????<value>true</value>
</property>
<property>
????????<name>dfs.datanode.max.xcievers</name>
????????<value>4096</value>
</property>
說明:
dfs.replication:文件復(fù)本數(shù)
dfs.namenode.name.dir:設(shè)置NameNode存儲(chǔ)元數(shù)據(jù)(fsimage)的本地文件系統(tǒng)位置
dfs.datanode.data.dir:設(shè)置DataNode存儲(chǔ)數(shù)據(jù)的本地文件系統(tǒng)位置
dfs.support.append:設(shè)置HDFS是否支持在文件末尾追加數(shù)據(jù)
dfs.datanode.max.xcievers:設(shè)置datanode可以創(chuàng)建的最大xcievers數(shù)
16、配置yarn-site.xml
修改hadoop目錄下etc/hadoop/yarn-site.xml的配置文件,在標(biāo)簽中添加如下內(nèi)容:
<property>
??<name>yarn.nodemanager.aux-services</name>
??<value>mapreduce_shuffle</value>
</property>
<property>
??<name>yarn.resourcemanager.hostname</name>
??<value>master</value>
</property>
<property>
??<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
??<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
??<name>yarn.timeline-service.hostname</name>
??<value>master</value>
</property>
注:屬性名為mapred.job.tracker來配置job tracker交互端口
17、配置mapred-site.xml
修改hadoop目錄下etc/hadoop/mapred-site.xml的配置文件,在標(biāo)簽中添加如下內(nèi)容:
<property>
??<name>mapreduce.framework.name</name>
??<value>yarn</value>
</property>
18、配置子節(jié)點(diǎn)
修改hadoop目錄etc/hadoop/slave文件,每行一個(gè)節(jié)點(diǎn),偽分布式修改內(nèi)容為:
HDP126
HDP127
HDP128
19、把配置好的Hadoop程序復(fù)制到其它節(jié)點(diǎn)
scp -r /opt/hadoop root@HDP126:/opt/
chown -R hadoop:hadoop /opt/hadoop
20、啟動(dòng)
格式化
第一次使用一個(gè)分布式文件系統(tǒng),需要對(duì)其進(jìn)行格式化:
./bin/hadoop namenode –format
啟動(dòng)Hadoop守護(hù)進(jìn)程:
./sbin/start-all.sh
Hadoop守護(hù)進(jìn)程的日志寫入到${HADOOP_LOG_DIR}目錄(默認(rèn)為logs下)。
驗(yàn)證集群
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar randomwriter out
Hadoop自帶的WEB管理界面
瀏覽NameNode和JobTracker的WEB管理界面,它們的地址默認(rèn)為:
NameNode -http://HDP125:50070/dfshealth.jsp
Yarn -http://HDP125:8088