Hadoop 參數(shù)

前言:

Hadoop三個(gè)參數(shù)文件,我不是很理解,我網(wǎng)上找了一篇學(xué)習(xí)下

? ? ? 配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三個(gè)配置文件,默認(rèn)下來,這些配置文件都是空的,所以很難知道這些配置文件有哪些配置可以生效,上網(wǎng)找的配置可能因?yàn)楦鱾€(gè)hadoop版本不同,導(dǎo)致無法生效。瀏覽更多的配置,有兩個(gè)方法:

1.選擇相應(yīng)版本的hadoop,下載解壓后,搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,這些就是默認(rèn)配置,可以參考這些配置的說明和key,配置hadoop集群。

core-site.xml是全局配置,

hdfs-site.xml和mapred-site.xml分別是hdfs和mapred的局部配置。

2? ?? ? 常用的端口配置2.1??HDFS端口

2.2??MR端口

2.3??其它端口

3? ?? ? 三個(gè)缺省配置參考文件說明3.1??core-default.html



3.2??hdfs-default.html

3.3??mapred-default.html


配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三個(gè)配置文件,默認(rèn)下來,這些配置文件都是空的,所以很難知道這些配置文件有哪些配置可以生效,上網(wǎng)找的配置可能因?yàn)楦鱾€(gè)hadoop版本不同,導(dǎo)致無法生效。瀏覽更多的配置,有兩個(gè)方法:

1.選擇相應(yīng)版本的hadoop,下載解壓后,搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,這些就是默認(rèn)配置,可以參考這些配置的說明和key,配置hadoop集群。

2.瀏覽apache官網(wǎng),三個(gè)配置文件鏈接如下:

http://hadoop.apache.org/common/docs/current/core-default.html

http://hadoop.apache.org/common/docs/current/hdfs-default.html

http://hadoop.apache.org/common/docs/current/mapred-default.html

? ?這里是瀏覽hadoop當(dāng)前版本號的默認(rèn)配置文件,其他版本號,要另外去官網(wǎng)找。其中第一個(gè)方法找到默認(rèn)的配置是最好的,因?yàn)槊總€(gè)屬性都有說明,可以直接使用。另外,core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分別是hdfs和mapred的局部配置。


2? ?? ? 常用的端口配置2.1??HDFS端口

2.2??MR端口

2.3??其它端口

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容