本文內(nèi)容來自于尚硅谷大數(shù)據(jù)課程，此文歸納總結(jié)方便自己理解記憶

1.hadoop運(yùn)行環(huán)境搭建

（1）安裝虛擬機(jī)IP地址 172.16.45.200、主機(jī)名稱 hadoop100、內(nèi)存 4G、硬盤50G

（2）安裝epel-release

[root@hadoop100 ~]# yum install -y epel-release

注：Extra Packages for Enterprise Linux是為“紅帽系”的操作系統(tǒng)提供額外的軟件包，適用于RHEL、CentOS和Scientific Linux。相當(dāng)于是一個(gè)軟件倉(cāng)庫(kù)，大多數(shù)rpm包在官方 repository 中是找不到的）

（3）如果Linux安裝的是最小系統(tǒng)版，還需要安裝如下工具

net-tool：工具包集合，包含ifconfig等命令

vim：編輯器

[root@hadoop100 ~]# yum install -y net-tools 
[root@hadoop100 ~]# yum install -y vim

（4）關(guān)閉防火墻，關(guān)閉防火墻開機(jī)自啟

[root@hadoop100 ~]# systemctl stop firewalld
[root@hadoop100 ~]# systemctl disable firewalld

（5）創(chuàng)建用戶和密碼

[root@hadoop100 ~]# useradd zy
[root@hadoop100 ~]# passwd zy

（6）配置zy用戶具有root權(quán)限，方便后期加sudo執(zhí)行root權(quán)限的命令

配置后sudo命令不用輸入密碼了

[root@hadoop100 ~]# vim /etc/sudoers

修改/etc/sudoers文件，在%wheel這行下面添加一行，如下所示：

## Allow root to run any commands anywhere
root    ALL=(ALL)     ALL

## Allows people in group wheel to run all commands
%wheel  ALL=(ALL)       ALL
zy   ALL=(ALL)     NOPASSWD:ALL

注意：zy這一行不要直接放到root行下面，因?yàn)樗杏脩舳紝儆趙heel組，你先配置了zy具有免密功能，但是程序執(zhí)行到%wheel行時(shí)，該功能又被覆蓋回需要密碼。所以 zy 要放到%wheel這行下面。

（7）重啟虛擬機(jī)

[root@hadoop100 ~]# reboot

2.JDK安裝

卸載虛擬機(jī)自帶的 JDK

[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

rpm -qa：查詢所安裝的所有rpm軟件包
grep -i：忽略大小寫
xargs -n1：表示每次只傳遞一個(gè)參數(shù)
rpm -e –nodeps：強(qiáng)制卸載軟件

配置JDK環(huán)境變量

/etc/profile 文件里面會(huì)掃描 /etc/profile.d 文件夾下 *.sh

vim /etc/profile.d/my_env.sh

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

$ source /etc/profile
$ java -version

3.hadoop 安裝

Hadoop下載地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/
解壓

$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

添加到環(huán)境變量

$ sudo vim /etc/profile.d/my_env.sh

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

$ source /etc/profile
$ hadoop version
Hadoop 3.1.3

如果hadoop命令不能用重啟虛擬機(jī)

4.目錄結(jié)構(gòu)

drwxr-xr-x. 2 zy zy    183 9月  12 2019 bin
drwxr-xr-x. 3 zy zy     20 9月  12 2019 etc
drwxr-xr-x. 2 zy zy    106 9月  12 2019 include
drwxr-xr-x. 3 zy zy     20 9月  12 2019 lib
drwxr-xr-x. 4 zy zy    288 9月  12 2019 libexec
-rw-rw-r--. 1 zy zy 147145 9月   4 2019 LICENSE.txt
-rw-rw-r--. 1 zy zy  21867 9月   4 2019 NOTICE.txt
-rw-rw-r--. 1 zy zy   1366 9月   4 2019 README.txt
drwxr-xr-x. 3 zy zy   4096 9月  12 2019 sbin
drwxr-xr-x. 4 zy zy     31 9月  12 2019 share

（1）bin目錄：存放對(duì)Hadoop相關(guān)服務(wù)（hdfs，yarn，mapred）進(jìn)行操作的腳本

（2）etc目錄：Hadoop的配置文件目錄，存放Hadoop的配置文件

（3）lib目錄：存放Hadoop的本地庫(kù)（對(duì)數(shù)據(jù)進(jìn)行壓縮解壓縮功能）

（4）sbin目錄：存放啟動(dòng)或停止Hadoop相關(guān)服務(wù)的腳本

（5）share目錄：存放Hadoop的依賴jar包、文檔、和官方案例

5.集群安裝（分布式運(yùn)行模式）

集群部署規(guī)劃

NameNode和SecondaryNameNode不要安裝在同一臺(tái)服務(wù)器

ResourceManager也很消耗內(nèi)存，不要和NameNode、SecondaryNameNode配置在同一臺(tái)機(jī)器上。

	hadoop102	hadoop103	hadoop104
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManagerNodeManager	NodeManager

配置文件說明

Hadoop配置文件分兩類：默認(rèn)配置文件和自定義配置文件，只有用戶想修改某一默認(rèn)配置值時(shí)，才需要修改自定義配置文件，更改相應(yīng)屬性值。

默認(rèn)配置文件

要獲取的默認(rèn)文件	文件存放在Hadoop的jar包中的位置
[core-default.xml]	hadoop-common-3.1.3.jar/core-default.xml
[hdfs-default.xml]	hadoop-hdfs-3.1.3.jar/hdfs-default.xml
[yarn-default.xml]	hadoop-yarn-common-3.1.3.jar/yarn-default.xml
[mapred-default.xml]	hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml

自定義配置文件

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四個(gè)配置文件存放在$HADOOP_HOME/etc/hadoop這個(gè)路徑上，用戶可以根據(jù)項(xiàng)目需求重新進(jìn)行修改配置

配置集群

在$HADOOP_HOME/etc/hadoop/ 目錄下，修改

core-site.xml

<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>

    <!-- 指定hadoop數(shù)據(jù)的存儲(chǔ)目錄，默認(rèn)為/tmp臨時(shí)文件會(huì)定期刪除 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>

    <!-- 配置HDFS網(wǎng)頁(yè)登錄使用的靜態(tài)用戶為zy -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>zy</value>
    </property>
</configuration>

yarn-site.xml

<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>

    <!-- 環(huán)境變量的繼承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

配置日志聚集

日志聚集概念：應(yīng)用運(yùn)行完成以后，將程序運(yùn)行日志信息上傳到HDFS系統(tǒng)上

日志聚集.png

上面配置中添加如下

<!-- 開啟日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 設(shè)置日志聚集服務(wù)器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 設(shè)置日志保留時(shí)間為7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

注意：如果新開啟日志聚集功能，需要重新啟動(dòng)NodeManager 、ResourceManager和HistoryServer。

mapred-site.xml

<configuration>
    <!-- 指定MapReduce程序運(yùn)行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

配置歷史服務(wù)器

為了查看程序的歷史運(yùn)行情況，上面內(nèi)容添加

<!-- 歷史服務(wù)器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>

<!-- 歷史服務(wù)器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

配置workers

$ vim $HADOOP_HOME/etc/hadoop/workers

在該文件中增加如下內(nèi)容（其中存在的localhost需刪除，不然后面啟動(dòng)停止會(huì)報(bào)錯(cuò)）

hadoop102
hadoop103
hadoop104

注意：該文件中添加的內(nèi)容結(jié)尾不允許有空格，文件中不允許有空行

注意：以上配置修改在所有節(jié)點(diǎn)（服務(wù)器）下都要做此更改

6.啟動(dòng)集群

啟動(dòng)步驟

（1）格式化namenode

如果集群是第一次啟動(dòng)，需要在hadoop102節(jié)點(diǎn)格式化NameNode（注意：格式化NameNode，會(huì)產(chǎn)生新的集群id，導(dǎo)致NameNode和DataNode的集群id不一致，集群找不到已往數(shù)據(jù)。如果集群在運(yùn)行過程中報(bào)錯(cuò)，需要重新格式化NameNode的話，一定要先停止namenode和datanode進(jìn)程，并且要?jiǎng)h除所有機(jī)器的data和logs目錄，然后再進(jìn)行格式化。）

$ hdfs namenode -format

在 hadoop-3.1.3/data/dfs/name/current/VERSION 文件中

namespaceID=971897220
clusterID=CID-7eeb7676-bc94-4ec7-ab86-20bc5881a398
cTime=1697971819574
storageType=NAME_NODE
blockpoolID=BP-2032331130-172.16.45.202-1697971819574
layoutVersion=-64

（2）啟動(dòng)HDFS

$ sbin/start-dfs.sh

（3）在配置了ResourceManager的節(jié)點(diǎn)（hadoop103）啟動(dòng)YARN

$ sbin/start-yarn.sh

hdfs的NameNode

http://hadoop102:9870 查看HDFS上存儲(chǔ)的數(shù)據(jù)信息

# 上傳小文件
$ hadoop fs -mkdir /input # 必須加/
$ hadoop fs -put $HADOOP_HOME/wcinput/word.txt /input

# 上傳大文件
$ hadoop fs -put  /opt/software/jdk-8u212-linux-x64.tar.gz  /

# 文件存放位置
[zy@hadoop102 subdir0]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-2032331130-172.16.45.202-1697971819574/current/finalized/subdir0/subdir0

namenode.png

Size 文件實(shí)際占用大小

Block Size 表示存儲(chǔ)文件塊最大128MB，文件大小超過，新開個(gè)文件繼續(xù)存儲(chǔ)（只是表示存儲(chǔ)塊最大限制）

下圖為jdk文件詳情，用了兩個(gè)塊，第一個(gè)塊Block0 128m，第二個(gè)塊Block1存剩下數(shù)據(jù)大小

block.png

yarn的ResourceManager

http://hadoop103:8088 查看YARN上運(yùn)行的Job信息
重啟YARN 需要重新計(jì)算任務(wù)才會(huì)出現(xiàn)下面圖片中application

$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

resourceManager.png

配置了歷史服務(wù)器上圖History可以點(diǎn)擊跳轉(zhuǎn)到下圖任務(wù)詳情，否則點(diǎn)擊出現(xiàn)錯(cuò)誤頁(yè)面

歷史任務(wù)

http://hadoop102:19888/jobhistory

joblist.png

任務(wù)運(yùn)行日志

log.png

配置了日志聚集上圖logs可以點(diǎn)擊跳轉(zhuǎn)到下圖，否則點(diǎn)擊出現(xiàn)錯(cuò)誤頁(yè)面
日志詳情

logDetail.png

7.集群?jiǎn)?dòng)停止方式

各個(gè)模塊分開啟動(dòng)/停止（配置ssh是前提）（常用）

（1）整體啟動(dòng)/停止HDFS

start-dfs.sh/stop-dfs.sh

（2）整體啟動(dòng)/停止YARN

start-yarn.sh/stop-yarn.sh

各個(gè)服務(wù)組件逐一啟動(dòng)/停止

（1）分別啟動(dòng)/停止HDFS組件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

（2）啟動(dòng)/停止YARN

yarn --daemon start/stop  resourcemanager/nodemanager

腳本

啟動(dòng)停止腳本

myhadoop.sh

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " =================== 啟動(dòng) hadoop集群 ==================="

        echo " --------------- 啟動(dòng) hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 啟動(dòng) yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
        echo " --------------- 啟動(dòng) historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
        echo " =================== 關(guān)閉 hadoop集群 ==================="

        echo " --------------- 關(guān)閉 historyserver ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
        echo " --------------- 關(guān)閉 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 關(guān)閉 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

jpsall腳本

#!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host jps 
done

8.常用端口總結(jié)

端口名稱	Hadoop2.x	Hadoop3.x
NameNode內(nèi)部通信端口	8020 / 9000	8020 / 9000/9820
NameNode HTTP UI	50070	9870
MapReduce查看執(zhí)行任務(wù)端口	8088	8088
歷史服務(wù)器通信端口	19888	19888

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

hadoop集群安裝

hadoop集群安裝

1.hadoop運(yùn)行環(huán)境搭建

2.JDK安裝

3.hadoop 安裝

4.目錄結(jié)構(gòu)

5.集群安裝（分布式運(yùn)行模式）

集群部署規(guī)劃

配置文件說明

配置集群

core-site.xml

yarn-site.xml

配置日志聚集

mapred-site.xml

配置歷史服務(wù)器

6.啟動(dòng)集群

啟動(dòng)步驟

hdfs的NameNode

yarn的ResourceManager

歷史任務(wù)

7.集群?jiǎn)?dòng)停止方式

各個(gè)模塊分開啟動(dòng)/停止（配置ssh是前提）（常用）

各個(gè)服務(wù)組件逐一啟動(dòng)/停止

腳本

8.常用端口總結(jié)

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九 欧美,1769亚洲,黄色成人av

hadoop集群安裝

1.hadoop運(yùn)行環(huán)境搭建

2.JDK安裝

3.hadoop 安裝

4.目錄結(jié)構(gòu)

5.集群安裝（分布式運(yùn)行模式）

集群部署規(guī)劃

配置文件說明

配置集群

core-site.xml

yarn-site.xml

配置日志聚集

mapred-site.xml

配置歷史服務(wù)器

6.啟動(dòng)集群

啟動(dòng)步驟

hdfs的NameNode

yarn的ResourceManager

歷史任務(wù)

7.集群?jiǎn)?dòng)停止方式

各個(gè)模塊分開啟動(dòng)/停止（配置ssh是前提）（常用）

各個(gè)服務(wù)組件逐一啟動(dòng)/停止

腳本

8.常用端口總結(jié)

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av