零基礎(chǔ)玩轉(zhuǎn)大數(shù)據(jù)(二)Hadoop偽分布式環(huán)境搭建

配置HDFS(Hadoop分布式文件系統(tǒng))
** hdfs有兩個namenode(主和從),datanode（多個）

** namenode維護(hù)元數(shù)據(jù)，如：文件到塊的對應(yīng)關(guān)系、塊到節(jié)點(diǎn)的對應(yīng)關(guān)系，以及用戶對文件的操作

** datanode用來存儲和管理本節(jié)點(diǎn)數(shù)據(jù)

image.png

使用notepad++操作

a)
# 在Hadoop安裝目錄下的/etc/hadoop里，修改hadoop-env.sh文件里的JAVA_HOME
export JAVA_HOME=/opt/modules/jdk1.7.0_67

b)
修改core-site.xml文件：(參考core-default.xml)
<configuration>
    <!--NameNode的訪問URI，也可以寫為IP，8020為默認(rèn)端口，可改-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://blue01.mydomain:8020</value>
    </property>
    <!--臨時數(shù)據(jù)目錄，用來存放數(shù)據(jù)，格式化時會自動生成-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/modules/hadoop-2.5.0/data</value>
    </property>
</configuration>

c)
修改hdfs-site.xml文件：(參考hdfs-default.xml)
<configuration>
    <!--Block的副本數(shù)，偽分布式要改為1-->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>
image.png
image.png

格式化namenode：
# 會自動生成data目錄
$ bin/hdfs namenode -format

啟動守護(hù)進(jìn)程(服務(wù))：
# cmd文件是給Windows用的，可以刪除
$ sbin/hadoop-daemon.sh start namenode #stop用來停止守護(hù)進(jìn)程
$ sbin/hadoop-daemon.sh start datanode
# jps --Process Status查看java進(jìn)程，數(shù)字為PID（Process id）

image.png

PS:
若是提示某個服務(wù)已經(jīng)啟動，可以去/tmp目錄下刪除對應(yīng)的pid文件

打開瀏覽器：
http://你的虛擬機(jī)IP:50070/
http://你的虛擬機(jī)IP:50070/dfshealth.jsp

上傳文件：(測試HDFS)
# 隨便創(chuàng)建一個文件a.txt，測試用
$ vi a.txt
# 打開網(wǎng)頁，Utilities--Browse file system
$ hdfs dfs -mkdir /input #在HDFS上創(chuàng)建文件夾，沒有類似-cd進(jìn)入目錄的參數(shù)
$ hdfs dfs -put a.txt /input #把本地文件拷到HDFS

配置Yarn
** 兩個管理器：resourcemanager、nodemanager

a)
# 在/etc/hadoop里，yarn-env.sh和mapred-env.sh文件：
# 將"export JAVA_HOME"注解取消
export JAVA_HOME=/opt/modules/jdk1.7.0_67
    
b)
#yarn-site.xml文件
    <!--NodeManager上運(yùn)行的輔助(auxiliary)服務(wù)，需配置成mapreduce_shuffle，才可運(yùn)行MapReduce程序-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!--指定resourcemanager主機(jī)-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>blue01.mydomain</value>
    </property>
    
c)
#mapred-site.xml文件（去掉.template）
    <!--mapreduce是一種編程模型，運(yùn)行在yarn平臺上面-->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    
d)
hadoop-2.5.0/etc/hadoop/slaves文件:
** 記錄哪些主機(jī)是datanode，每行一個主機(jī)名
** 替換掉原本localhost
blue01.mydomain


** 進(jìn)入hadoop目錄，啟動yarn
$ sbin/yarn-daemon.sh start resourcemanager
$ sbin/yarn-daemon.sh start nodemanager
image.png

** yarn的作業(yè)監(jiān)控平臺，顯示yarn平臺上運(yùn)行job的所用資源（CPU、內(nèi)存）等信息
http://192.168.122.128:8088

image.png

測試：運(yùn)行一個mapreduce作業(yè)
（需要啟動namenode和datanode守護(hù)進(jìn)程，在http://192.168.122.128:50070查看目標(biāo)文件和結(jié)果文件）

# 運(yùn)行官方提供的jar包，進(jìn)行文件內(nèi)單詞統(tǒng)計(jì)（本例是以tab鍵'\t'作為單詞間的分隔符）
# wordcount為程序名
# /input是輸入路徑，統(tǒng)計(jì)目錄里的所有文件（可以上傳多個文件試試）
# /output是輸出路徑，為了防止結(jié)果被意外覆蓋，Hadoop規(guī)定輸出文件一定不能存在
$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input /output

# 可以打開http://192.168.122.128:8088，查看運(yùn)行信息
# 查看統(tǒng)計(jì)結(jié)果
$ bin/hdfs dfs -cat /output/p*
image.png
demo1.gif

** 點(diǎn)擊history無效，繼續(xù)配置historyserver服務(wù):
** 歷史服務(wù)：查看已經(jīng)運(yùn)行完成的MapReduce作業(yè)記錄，比如本次作業(yè)用了多少M(fèi)apper、Reducer，
** 還能看到作業(yè)提交時間、作業(yè)啟動時間、作業(yè)完成時間等信息。

配置日志服務(wù)器：
yarn-site.xml文件
    <!--啟用日志聚合功能-->
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <!--日志保留時間，單位秒-->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>86400</value>
    </property>

mapred-site.xml文件
    <!--JobHistory服務(wù)的IPC地址(IPC：Inter-Process Communication進(jìn)程間通信)-->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>blue01.mydomain:10020</value>
    </property>
    <!--日志的web訪問地址-->
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>blue01.mydomain:19888</value>
    </property>

重啟yarn服務(wù)（jps）

$ sbin/yarn-daemon.sh stop resourcemanager  
$ sbin/yarn-daemon.sh stop nodemanager  
$ sbin/yarn-daemon.sh start resourcemanager 
$ sbin/yarn-daemon.sh start nodemanager

啟動historyserver服務(wù)

$ sbin/mr-jobhistory-daemon.sh start historyserver

再次運(yùn)行任務(wù)，必需改變輸出目錄

$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /input/ /output2

需要在（注意：是Windows目錄，而不是Linux）

C:\Windows\System32\drivers\etc里面的hosts文件里添加映射
192.168.122.128  blue01.mydomain
此時再點(diǎn)擊history，就能看到結(jié)果
demo1.gif

解決警告：

$ bin/hdfs dfs -cat /output/par*  
# 執(zhí)行類似的命令時，會出現(xiàn)WARN 
# Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
# 意思是當(dāng)前平臺（Centos6.4 64bit）不能加載（不兼容）hadoop包，hadoop包在lib目錄下

解決方法：

用native-2.5.0.tar.gz替換lib/native包     
[tom@blue01 lib]$ rm -rf native
$ tar zxvf /opt/softwares/native-2.5.0.tar.gz

** 注意：CDH版本Hadoop不能用這個包來替換

image.png

=======================================================

PS：
編譯Hadoop（選做，在Windows平臺安裝hadoop時，或者添加Hadoop一些額外功能時，才需要編譯）

    **  hadoop-2.5.0.tar.gz  編譯過后的包
    **  hadoop-2.5.0-src.tar.gz  沒有經(jīng)過編譯的
    
    ** 系統(tǒng)必須聯(lián)網(wǎng)（mvn倉庫）
    hadoop-2.5.0-src.tar.gz --> hadoop-2.5.0.tar.gz
    ** 時間比較長，而且對網(wǎng)絡(luò)條件要求高，只要有一個包maven下載漏掉，就要重新編譯，很麻煩（參考編譯操作文檔）
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容