hadoop的完全分布模式配置

  • 文件位置/soft/hadoop/etc/hadoop:
<!--core-site.xml-->
<configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://s100:8020/</value>
        </property>
</configuration>
<!--hdfs-site.xml-->
<configuration>
        <property>
            <name>dfs.replication</name>
            <value>2</value>
         </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                 <value>s103:50090</value>
        </property>
</configuration>
<!--yarn-site.xml-->
<configuration>
<!-- Site specific YARN configuration properties -->
 <!-- 指定ResourceManager的地址-->
                <property>
                    <name>yarn.resourcemanager.hostname</name>
                    <value>s100</value>
                </property>
                <!-- 指定reducer獲取數(shù)據(jù)的方式-->
                <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
                </property>
</configuration>
<!--mapred-site.xml-->
<configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
</configuration>
  • 除此之外,還需要配一個同目錄下的slaves文件:
s101
s102
  • 然后hadoop namenode -formatstart-all.sh,需要注意的是,如果發(fā)現(xiàn)子slave的datanode沒有啟動,則需要刪除/tmp/hadoop-ubuntu 和hadoop-ubuntu-namenode.pid文件夾后重新啟動!
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關閱讀更多精彩內容

  • 一、系統(tǒng)參數(shù)配置優(yōu)化 1、系統(tǒng)內核參數(shù)優(yōu)化配置 修改文件/etc/sysctl.conf,添加如下配置,然后執(zhí)行s...
    張偉科閱讀 3,921評論 0 14
  • 首先,我們在使用前先看看HDFS是什麼?這將有助于我們是以后的運維使用和故障排除思路的獲得。 HDFS采用mast...
    W_Bousquet閱讀 4,437評論 0 2
  • 1.Linux安裝前的配置 1.1.關閉防火墻 本站文檔是假定「服務器在防火墻以內」的前提下編纂的,在這個前提下...
    lao男孩閱讀 3,480評論 0 4
  • 一 今天無意間看到自己的一個初中同學L姑娘結婚了,照片上的那個新郎我放大了一次又一次,就是想找到當初和L在一起的那...
    十月懷念閱讀 1,305評論 0 1
  • 如圖 半成品中的一個小功能,記錄如下 先會用,再深究,任務完成后再好好補充下相關知識,另外,求大神解疑!
    超_iOS閱讀 8,263評論 1 2

友情鏈接更多精彩內容