HADOOP環(huán)境搭建示例--2

15、配置hdfs-site.xml

修改hadoop目錄下conf/hdfs-site.xml的配置文件,在標(biāo)簽中添加如下內(nèi)容:

<property>

????<name>dfs.replication</name>

????<value>1</value>

</property>

<property>

????<name>dfs.namenode.name.dir</name>

????<value>/home/${user.name}/dfs_name</value>

</property>

<property>

????<name>dfs.datanode.data.dir</name>

????<value>/home/${user.name}/dfs_data</value>

</property>

<property>

????????<name>dfs.support.append</name>

????????<value>true</value>

</property>

<property>

????????<name>dfs.datanode.max.xcievers</name>

????????<value>4096</value>

</property>

說明:

  dfs.replication:文件復(fù)本數(shù)

  dfs.namenode.name.dir:設(shè)置NameNode存儲(chǔ)元數(shù)據(jù)(fsimage)的本地文件系統(tǒng)位置

  dfs.datanode.data.dir:設(shè)置DataNode存儲(chǔ)數(shù)據(jù)的本地文件系統(tǒng)位置

  dfs.support.append:設(shè)置HDFS是否支持在文件末尾追加數(shù)據(jù)

  dfs.datanode.max.xcievers:設(shè)置datanode可以創(chuàng)建的最大xcievers數(shù)

16、配置yarn-site.xml

修改hadoop目錄下etc/hadoop/yarn-site.xml的配置文件,在標(biāo)簽中添加如下內(nèi)容:

<property>

??<name>yarn.nodemanager.aux-services</name>

??<value>mapreduce_shuffle</value>

</property>

<property>

??<name>yarn.resourcemanager.hostname</name>

??<value>master</value>

</property>

<property>

??<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

??<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

??<name>yarn.timeline-service.hostname</name>

??<value>master</value>

</property>

注:屬性名為mapred.job.tracker來配置job tracker交互端口

17、配mapred-site.xml

修改hadoop目錄下etc/hadoop/mapred-site.xml的配置文件,在標(biāo)簽中添加如下內(nèi)容:

<property>

??<name>mapreduce.framework.name</name>

??<value>yarn</value>

</property>

18、配置子節(jié)點(diǎn)

修改hadoop目錄etc/hadoop/slave文件,每行一個(gè)節(jié)點(diǎn),偽分布式修改內(nèi)容為:

HDP126

HDP127

HDP128

19、把配置好的Hadoop程序復(fù)制到其它節(jié)點(diǎn)

scp -r /opt/hadoop root@HDP126:/opt/

chown -R hadoop:hadoop /opt/hadoop

20、啟動(dòng)

格式化

第一次使用一個(gè)分布式文件系統(tǒng),需要對(duì)其進(jìn)行格式化:

./bin/hadoop namenode –format

啟動(dòng)Hadoop守護(hù)進(jìn)程:

./sbin/start-all.sh

Hadoop守護(hù)進(jìn)程的日志寫入到${HADOOP_LOG_DIR}目錄(默認(rèn)為logs下)。

驗(yàn)證集群

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar randomwriter out

Hadoop自帶的WEB管理界面

瀏覽NameNode和JobTracker的WEB管理界面,它們的地址默認(rèn)為:

  NameNode -http://HDP125:50070/dfshealth.jsp

  Yarn -http://HDP125:8088

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 一、系統(tǒng)參數(shù)配置優(yōu)化 1、系統(tǒng)內(nèi)核參數(shù)優(yōu)化配置 修改文件/etc/sysctl.conf,添加如下配置,然后執(zhí)行s...
    張偉科閱讀 3,924評(píng)論 0 14
  • 1 目的將hadoop 2.7.1 安裝到 166、167、168 三臺(tái)機(jī)器上2 提供環(huán)境練習(xí)環(huán)境192.168....
    灼灼2015閱讀 3,639評(píng)論 4 40
  • 前言 Hadoop在大數(shù)據(jù)技術(shù)體系中的地位至關(guān)重要,Hadoop是大數(shù)據(jù)技術(shù)的基礎(chǔ),對(duì)Hadoop基礎(chǔ)知識(shí)的掌握的...
    piziyang12138閱讀 2,000評(píng)論 0 3
  • 1. Hadoop常用組件: 1. hadoop commons :hadoop基礎(chǔ)模塊。 2. HDFS:存儲(chǔ)數(shù)...
    奉先閱讀 917評(píng)論 0 2
  • 早晨,親吻兒子和老公出發(fā)回太原。 路上邊走邊想,昨晚接兒子下學(xué)邊和兒子聊天,兒子高興地說:他昨天是開學(xué)...
    紅祺閱讀 189評(píng)論 0 0

友情鏈接更多精彩內(nèi)容