hadoop的偽分布模式配置

  • 文件位置在/soft/hadoop/etc/hadoop/
<!--core-site.xml-->
      <configuration>
               <property>
                   <name>fs.defaultFS</name>
                   <value>hdfs://localhost/</value>   
               </property>
           </configuration>
<!--hdfs-site.xml-->
            <configuration>
                <property>
                    <name>dfs.replication</name>
                    <value>1</value>
                </property>
            </configuration>
  • 注意?。椭埔环輒apred-site.xml.template為mapred-site.xml,原來沒有這個文件!!
<!--mapred-site.xml-->
            <configuration>
                <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
                </property>
            </configuration>
<!--yarn-site.xml-->
            <configuration>
                <!-- 指定ResourceManager的地址-->
                <property>
                    <name>yarn.resourcemanager.hostname</name>
                    <value>localhost</value>
                </property>
                <!-- 指定reducer獲取數(shù)據(jù)的方式-->
                <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
                </property>
            </configuration>
  • 配置SSH,目的時為了名稱節(jié)點遠程登陸數(shù)據(jù)節(jié)點時不用輸密碼,配一個無密登陸的ssh
1) 安裝ssh ------sudo apt-get install ssh
2) 生成無密的密鑰文件 -----ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
3) 導入公鑰到節(jié)點密鑰庫 ------cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
4)試試登陸localhost,第一次詢問輸入yes,后面就可以免密登陸了,exit再退出localhost(偽分布式只能登陸本機lcoalhost測試)
  • 配一個宿主機s100和s101的免密登陸SSH(不需要這個操作,補充的)
需要把s100的公鑰文件發(fā)給s101的authorized_keys文件中,用nc指令即可。
  • 格式化hdfs文件系統(tǒng) hadoop namenode -format
  • 啟動所有進程 start-all.sh
  • jps查看進程,有五個進程,如果進程不對,stop-all.sh結束所有進程后檢查配置文件,然后格式化hdfs文件系統(tǒng)后啟動
  • 查看hdfs資源目錄,第一次應該是沒有的 hadoop fs -ls
  • 創(chuàng)建hdfs資源目錄,hadoop fs -mkdir -p /user/ubuntu/data
  • 查看hdfs資源目錄,hadoop fs -ls -r /
  • 關機后需要重新格式化hdfs文件系統(tǒng),即hadoop namenode -format,若發(fā)現(xiàn)進程少了,可以在/soft/hadoop/logs下查看相應進程的日志文件
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關閱讀更多精彩內容

友情鏈接更多精彩內容