- 文件位置在/soft/hadoop/etc/hadoop/
<!--core-site.xml-->
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost/</value>
</property>
</configuration>
<!--hdfs-site.xml-->
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
- 注意?。椭埔环輒apred-site.xml.template為mapred-site.xml,原來沒有這個文件!!
<!--mapred-site.xml-->
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
<!--yarn-site.xml-->
<configuration>
<!-- 指定ResourceManager的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<!-- 指定reducer獲取數(shù)據(jù)的方式-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
- 配置SSH,目的時為了名稱節(jié)點遠程登陸數(shù)據(jù)節(jié)點時不用輸密碼,配一個無密登陸的ssh
1) 安裝ssh ------sudo apt-get install ssh
2) 生成無密的密鑰文件 -----ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
3) 導入公鑰到節(jié)點密鑰庫 ------cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
4)試試登陸localhost,第一次詢問輸入yes,后面就可以免密登陸了,exit再退出localhost(偽分布式只能登陸本機lcoalhost測試)
- 配一個宿主機s100和s101的免密登陸SSH(不需要這個操作,補充的)
需要把s100的公鑰文件發(fā)給s101的authorized_keys文件中,用nc指令即可。
- 格式化hdfs文件系統(tǒng)
hadoop namenode -format
- 啟動所有進程
start-all.sh
- jps查看進程,有五個進程,如果進程不對,
stop-all.sh結束所有進程后檢查配置文件,然后格式化hdfs文件系統(tǒng)后啟動
- 查看hdfs資源目錄,第一次應該是沒有的
hadoop fs -ls
- 創(chuàng)建hdfs資源目錄,
hadoop fs -mkdir -p /user/ubuntu/data
- 查看hdfs資源目錄,
hadoop fs -ls -r /
- 關機后需要重新格式化hdfs文件系統(tǒng),即
hadoop namenode -format,若發(fā)現(xiàn)進程少了,可以在/soft/hadoop/logs下查看相應進程的日志文件
最后編輯于 :
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。