Hadoop的配置文件

?*注:這些配置文件的路徑均在 ${HADOOP_HOME}/ etc/hadoop 目錄下

(1)hadoop-env.sh

#添加
export JAVA_HOME=/home/hadoop/jdk
# hadoop為用戶名,按實(shí)際修改


(2)core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
????<property>
????????????<name>fs.defaultFS</name> ? ? ? #fs.defaultFS 屬性指定默認(rèn)文件系統(tǒng)的 URI 地址
????????????<value>hdfs://node1:8020</value>?
????????????<!-- 以上 ip 地址或主機(jī)名要按實(shí)際情況修改 -->?
????</property>

????<property>?
????????????<name>hadoop.tmp.dir</name> #指定 Hadoop 的臨時(shí)工作目錄 ?
????????????<value>/home/hadoop/hadoop/tmp</value>
? ?? </property>
</configuration>?


注意:一定要配置 hadoop.tmp.dir,否則默認(rèn)的 tmp 目錄 在/tmp 下,重啟 Ubuntu 操作系統(tǒng)時(shí) tmp 目錄下的 dfs/name 文件夾會(huì)被刪除,造成沒(méi)有 NameNode

(3)hdfs-site.xml

<configuration>
????<property>
????????<name>dfs.replication</name>?
????????<value>1</value> ? ? ? # dfs.replication 的默認(rèn)值是 3,因?yàn)閭畏植际街挥幸粋€(gè)節(jié)點(diǎn),所以值設(shè)置為 1。
????</property>
</configuration>


(4)mapred-site.xml

復(fù)制 mapred-site.xml.template,生成 mapred-site.xml。
命令:cp mapred-site.xml.template mapred-site.xml

在<configuration></configuration>之間添加如下配置信息,如下圖所示 ? ? ? ? ?? <!-- 指定mr框架為yarn方式 ?-->
?<property>
????<name>mapreduce.framework.name</name>
????<value>yarn</value>
</property>

mapreduce.framework.name 默認(rèn)值為 local,設(shè)置為 yarn,讓 MapReduce 程序運(yùn)行 在 YARN 框架上。

(5)yarn-site.xml

<property>?
????<name>yarn.resourcemanager.hostname</name> #屬性為資源管理器的主機(jī)
????<value>node1</value>
????<!-- 以上主機(jī)名或 IP 地址按實(shí)際情況修改 -->
</property>
<property>
????<name>yarn.nodemanager.aux-services</name> #屬性為節(jié)點(diǎn)管理器的輔助服務(wù)器
????<value>mapreduce_shuffle</value>
</property>

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容