hadoop集群環(huán)境搭建

第一部分 linux環(huán)境安裝

hadoop是運(yùn)行在linux上的

第一步 Vmware的安裝

選擇NAT模式配置

第二步 在vmware上安裝linux

1、選擇新建虛擬機(jī)
2、選擇典型安裝
3、稍后安裝操作系統(tǒng)
4、客戶(hù)機(jī)操作選擇linux(L)
5、版本選擇Centos 64位
6、給虛擬機(jī)起名，選擇存儲(chǔ)路徑
7、設(shè)置最大磁盤(pán)大小，一般設(shè)置20G
8、將虛擬磁盤(pán)拆分成多個(gè)文件
9、點(diǎn)擊完成創(chuàng)建，就創(chuàng)建了一個(gè)虛擬機(jī)，但是此時(shí)的虛擬機(jī)還是一個(gè)空殼，沒(méi)有操作系統(tǒng)，接下來(lái)安裝操作系統(tǒng)
10、點(diǎn)擊編輯虛擬機(jī)設(shè)置，找到DVD，使用鏡像，指定操作系統(tǒng)ISO文件所在位置。


image.png

11、開(kāi)啟此虛擬機(jī)，等待，直到出現(xiàn)以下頁(yè)面，選擇skip直接跳過(guò)


image.png

12、 設(shè)置root密碼。

image

13、 選擇Desktop，這樣就會(huì)裝一個(gè)Xwindow。

image

14、 先不添加普通用戶(hù)，其他用默認(rèn)的，就把Linux安裝完畢了。

第三步 設(shè)置網(wǎng)絡(luò)

由于我們剛安裝的linux是沒(méi)有ip的，所以我們要先獲取ip

1.修改ip地址

1、開(kāi)啟虛擬機(jī)后先寫(xiě)一個(gè)腳本文件

touch reset_ip.sh

2、然后進(jìn)入修改這個(gè)文件內(nèi)容,也可以不用touch創(chuàng)建該腳本，直接用vi也能創(chuàng)建并且修改

vi reset_ip.sh

3、腳本內(nèi)容如下，然后保存退出

#!/bin/bash
name=$(cat /etc/udev/rules.d/70-persistent-net.rules |grep -oP '(?<=NAME=").*(?=")'|tail -1)
mac=$(cat /etc/udev/rules.d/70-persistent-net.rules |grep -oP '(?<=ATTR{address}==").*?(?=",)'|tail -1)
sed -i s/DEVICE.*/DEVICE=${name}/ /etc/sysconfig/network-scripts/ifcfg-eth0
sed -i s/HWADDR=.*/HWADDR=${mac}/ /etc/sysconfig/network-scripts/ifcfg-eth0
service network restart

4、修改該腳本的權(quán)限

chmod u+x reset_ip.sh

或者

chmod 744 reset_ip.sh

5、執(zhí)行該腳本，獲取ip

./reset_ip.sh

6、使用ifconfig查詢(xún)本機(jī)ip，出現(xiàn)以下界面即為成功


image.png
2.修改主機(jī)名

1)、臨時(shí)修改 hostname name1
2)、永久修改 進(jìn)入/etc/sysconfig/network修改，修改hostname為主機(jī)名


image.png
3.修改網(wǎng)關(guān)
網(wǎng)關(guān)配置文件為/etc/sysconfig/network文件

網(wǎng)關(guān)配置也可以在/etc/sysconfig/network-scripts/ifcfg-eth0中配置。
進(jìn)入編輯模式，修改為以下內(nèi)容


image.png

Linux網(wǎng)卡配置文件詳解：

TYPE=Ethernet #網(wǎng)卡類(lèi)型
DEVICE=eth0 #指出設(shè)備名稱(chēng)
ONBOOT=yes #設(shè)置為yes，開(kāi)機(jī)自動(dòng)啟用網(wǎng)絡(luò)連接
BOOTPROTO=static #啟用地址協(xié)議 –static:靜態(tài)協(xié)議 –bootp:協(xié)議 –dhcp:協(xié)議 -none:不指定協(xié)議[最好指定]，禁止DHCP
IPADDR=192.168.1.11 #網(wǎng)卡IP地址
NETMASK=255.255.255.0 #子網(wǎng)掩碼
GATEWAY=192.168.1.1 #網(wǎng)卡網(wǎng)關(guān)地址
DNS1=10.203.104.41 #網(wǎng)卡DNS地址 ，第一個(gè)dns服務(wù)器，設(shè)置主DNS
HWADDR=00:0C:29:13:5D:74 #網(wǎng)卡設(shè)備MAC地址
BROADCAST=192.168.1.255 #網(wǎng)卡廣播地址
NM_CONTROLLED=yes #network mamager的參數(shù)，實(shí)時(shí)生效，修改后無(wú)需要重啟網(wǎng)卡立即生效。
GATEWAY=192.168.21.2 #設(shè)置網(wǎng)關(guān)
DNS2=8.8.4.4 #第二個(gè)dns服務(wù)器，設(shè)置備用DNS
IPV6INIT=no #禁止IPV6
USERCTL=no #是否允許非root用戶(hù)控制該設(shè)備，設(shè)置為no，只能用root用戶(hù)更改
NAME="System eth0" #定義設(shè)備名稱(chēng)

4.修改/etc/hosts

hosts的作用:將一些常用的網(wǎng)址域名與其對(duì)應(yīng)的IP地址建立一個(gè)關(guān)聯(lián)“數(shù)據(jù)庫(kù)”，當(dāng)用戶(hù)在瀏覽器中輸入一個(gè)需要登錄的網(wǎng)址時(shí)，系統(tǒng)會(huì)首先自動(dòng)從Hosts文件中尋找對(duì)應(yīng)的IP地址，一旦找到，系統(tǒng)會(huì)立即打開(kāi)對(duì)應(yīng)網(wǎng)頁(yè)，如果沒(méi)有找到，則系統(tǒng)會(huì)再將網(wǎng)址提交DNS域名解析服務(wù)器進(jìn)行IP地址的解析。
在文字最下面插入一行，寫(xiě)上ip，空格，設(shè)備名字


image.png

重點(diǎn)：修改windows的hosts文件，追加虛擬機(jī)ip和名稱(chēng)

5.重啟網(wǎng)絡(luò)
service network restart
6.關(guān)閉防火墻

1、當(dāng)次生效

service iptables stop

2、永久生效

service iptables off

開(kāi)啟防火墻：
1、當(dāng)次生效

service iptables start

2、永久生效

service iptables on
7.重啟系統(tǒng)
reboot

第三步 JDK的安裝

1、查看是否已經(jīng)安裝了java jdk
[root@hadoop3 /]# java -version

注意：Hadoop機(jī)器上的JDK，最好是Oracle的Java JDK，不然會(huì)有一些問(wèn)題，比如可能沒(méi)有JPS命令。

2、安裝java jdk

1、下載Oracle 版本的jdk
2、使用winsp將jdk從windows拷貝到linux
3、解壓到/opt/modules目錄下，沒(méi)有該目錄就創(chuàng)建

[root@hadoop3 /]#tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/modules

然后修改解壓后的jdk名字為jdk1.8
4、添加環(huán)境變量，修改/etc/profile配置文件，追加

export JAVA_HOME=”/opt/modules/jdk1.8“
export PATH=$JAVA_HOME/bin:$PATH

修改完成后，保存并退出編輯模式，執(zhí)行命令

[root@hadoop3 /]#source /etc/profile

5、再次執(zhí)行 Java -version，查看是否完成安裝，出現(xiàn)以下內(nèi)容即為安裝成功


image.png

第二部分 hadoop本地模式安裝

Hadoop本地模式只是用于本地開(kāi)發(fā)調(diào)試，這種模式在一臺(tái)單機(jī)上運(yùn)行，沒(méi)有分布式文件系統(tǒng)，而是直接讀寫(xiě)本地操作系統(tǒng)的文件系統(tǒng)。


image.png

1、下載hadoop

2、 創(chuàng)建一個(gè)存放本地模式hadoop的目錄

[root@hadoop3 /]# mkdir -p /opt/modules/hadoopstandalone

2、 解壓hadoop文件

[root@hadoop3 /]# cd /opt/modeules/hadoopstandalone/
[root@hadoop3 /]#  tar -zxvf hadoop-2.8.3.tar.gz

3、 確保JAVA_HOME環(huán)境變量已經(jīng)配置好

[root@hadoop3 hadoopstandalone]# echo ${JAVA_HOME}
/opt/modules/jdk1.8

3、運(yùn)行MapReduce程序，驗(yàn)證

我們這里用hadoop自帶的wordcount例子來(lái)在本地模式下測(cè)試跑mapreduce。

1、 準(zhǔn)備mapreduce輸入文件wc.input

[root@hadoop3 /]# mkdir -p /opt/data/
[root@hadoop3 /]#touch wc.input
[root@hadoop3 /]#vi /opt/data/wc.input
hadoop mapreduce hive
hbase spark storm
sqoop hadoop hive
spark hadoop

2、 運(yùn)行hadoop自帶的mapreduce，在/opt/modules/hadoopstandalone/hadoop-2.8.3/bin目錄下運(yùn)行

[root@hadoop3 bin]# ./hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /opt/data/wc.input output
image.png

這里可以看到j(luò)ob ID中有l(wèi)ocal字樣，說(shuō)明是運(yùn)行在本地模式下的。

3、 查看輸出文件

本地模式下，mapreduce的輸出是輸出到本地。

[root@hadoop3 /]# ll /opt/data/output
total 4
-rw-r--r-- 1 hadoop hadoop 60 Jul  7 12:50 part-r-00000
-rw-r--r-- 1 hadoop hadoop  0 Jul  7 12:50 _SUCCESS

輸出目錄中有_SUCCESS文件說(shuō)明JOB運(yùn)行成功，part-r-00000是輸出結(jié)果文件。

第三部分：Hadoop偽分布式模式安裝

這種模式也是在一臺(tái)單機(jī)上運(yùn)行，但用不同的Java進(jìn)程模仿分布式運(yùn)行中的各類(lèi)結(jié)點(diǎn):(NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)

請(qǐng)注意分布式運(yùn)行中的這幾個(gè)結(jié)點(diǎn)的區(qū)別：

  1. 從分布式存儲(chǔ)的角度來(lái)說(shuō)，集群中的結(jié)點(diǎn)由一個(gè)NameNode和若干個(gè)DataNode組成,另有一個(gè)SecondaryNameNode作為NameNode的備份。
  2. 從分布式應(yīng)用的角度來(lái)說(shuō)，集群中的結(jié)點(diǎn)由一個(gè)JobTracker和若干個(gè)TaskTracker組成，JobTracker負(fù)責(zé)任務(wù)的調(diào)度，TaskTracker負(fù)責(zé)并行執(zhí)行任務(wù)。TaskTracker必須運(yùn)行在DataNode上，這樣便于數(shù)據(jù)的本地計(jì)算。JobTracker和NameNode則無(wú)須在同一臺(tái)機(jī)器上。一個(gè)機(jī)器上，既當(dāng)namenode，又當(dāng)datanode,或者說(shuō) 既 是jobtracker,又是tasktracker。沒(méi)有所謂的在多臺(tái)機(jī)器上進(jìn)行真正的分布式計(jì)算，故稱(chēng)為"偽分布式"。

1、創(chuàng)建用戶(hù)

1）、創(chuàng)建一個(gè)hadood用戶(hù)并設(shè)置密碼

[root@hadoop3 bin]# useradd hadoop
[root@hadoop3 bin]# passwd hadoop

2)、切換到hadoop用戶(hù)

[root@hadoop3 ~]#su - hadoop

3)、創(chuàng)建存放hadoop的文件夾

[root@hadoop3 ~]#sudo mkdir /opt/modules

4)、 將hadoop文件夾的所有者指定為hadoop用戶(hù)

如果存放hadoop的目錄的所有者不是hadoop，之后hadoop運(yùn)行中可能會(huì)有權(quán)限問(wèn)題，那么就講所有者改為hadoop。

[root@hadoop3 ~]#sudo chown -R hadoop:hadoop /opt/modules

2、解壓hadoop

1、 復(fù)制hadoop-2.8.3.tar.gz到/opt/modules目錄下。

2、 解壓hadoop-2.8.3.tar.gz

[root@hadoop3 ~]#cd /opt/modules
[root@hadoop3 modules]#tar -zxvf hadoop-2.8.3.tar.gz
[root@hadoop3 modules]#mv hadoop-2.8.3 hadoop

3、配置hadoop

1、 配置Hadoop環(huán)境變量
[root@hadoop3 ~]#vi /etc/profile

追加配置：
export HADOOP_HOME="/opt/modules/hadoop"
export PATH=HADOOP_HOME/bin:HADOOP_HOME/sbin:$PATH

執(zhí)行：source /etc/profile 使得配置生效
驗(yàn)證HADOOP_HOME參數(shù)：
[hadoop@bigdata-senior01 /]echoHADOOP_HOME
/opt/modules/hadoop

2、 配置 hadoop-env.sh、mapred-env.sh、yarn-env.sh文件的JAVA_HOME參數(shù)

這幾個(gè)文件所在的路徑為：/opt/modules/hadoop/etc/hadoop
1)、修改hadoop-env.sh

[root@hadoop6 ~]#sudo vi  /etc/hadoop/hadoop-env.sh

修改JAVA_HOME的參數(shù)為：

export JAVA_HOME="/opt/modules/jdk1.8"

2)、配置core-site.xml
配置之前先在opt目錄下創(chuàng)建/data/tmp目錄

[root@hadoop6 hadoop]#vi core-site.xml

添加兩個(gè)屬性

<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop6:8020</value>（主機(jī)名：8020）
</property>
<property>
   <name>hadoop.tmp.dir</name>
    <value>/opt/data/tmp</value>
 </property>

3)、配置hosts，hostname，關(guān)閉防火墻
不要忘記在windows上的hosts文件中追加ip和設(shè)備名
hosts目錄：C:\Windows\System32\drivers\etc
追加內(nèi)容
192.168.159.135 hadoop6

3、啟動(dòng)hdfs

1)、配置hdfs-site.xml

[root@hadoop6 dadoop]#vi hdfs-site.xml

添加屬性

<property>
       <name>dfs.replication</name>
       <value>1</value>
    </property>

dfs.replication配置的是HDFS存儲(chǔ)時(shí)的備份數(shù)量，因?yàn)檫@里是偽分布式環(huán)境只有一個(gè)節(jié)點(diǎn)，所以這里設(shè)置為1
2）、 格式化HDFS
作用：對(duì)HDFS這個(gè)分布式文件系統(tǒng)中的DataNode進(jìn)行分塊，統(tǒng)計(jì)所有分塊后的初始元數(shù)據(jù)的存儲(chǔ)在NameNode中

[root@hadoop6 dadoop]#hdfs namenode -format

只需要格式化一次


image.png

格式化后，查看core-site.xml里hadoop.tmp.dir（本例是/opt/data/tmp目錄）指定的目錄下是否有了dfs目錄，如果有，說(shuō)明格式化成功

4、啟動(dòng)NameNode

當(dāng)前目錄：/opt/modules/hadoop/sbin

[root@hadoop6 sbin]#hadoop-daemon.sh start namenode
5、啟動(dòng)DataNode
[root@hadoop6 sbin]#hadoop-daemon.sh start datanode
6、啟動(dòng)SecondaryNameNode
[root@hadoop6 sbin]#hadoop-daemon.sh start secondarynamenode
6、 JPS命令查看是否已經(jīng)啟動(dòng)成功，有結(jié)果就是啟動(dòng)成功了。
image.png

在瀏覽器輸入網(wǎng)址http://hadoop3:50070，出現(xiàn)以下頁(yè)面，說(shuō)明成功

image.png

7、 HDFS上測(cè)試創(chuàng)建目錄、上傳、下載文件

1)、創(chuàng)建input文件夾

[root@hadoop6 ~]#hdfs dfs -mkdir /input

2）、上傳本地文件到HDFS上
首先創(chuàng)建一個(gè)wc.input文本，寫(xiě)一些單詞進(jìn)去

[root@hadoop6 ~]#vi wc.input

[root@hadoop6 ~]#hdfs dfs -put wc.input /input

3)、讀取文件內(nèi)容

[root@hadoop6 ~]#hdfs dfs -cat /input/wc.input

4)、從hdfs下載到本地

[root@hadoop6 ~]#hdfs dfs -get /input/wc.input
8、配置啟動(dòng)yarn

文件目錄為：/opt/modules/hadoop/etc/hadoop
1）、 配置mapred-site.xml
首先復(fù)制mapred-site.xml.template配置模板文件為mapred-site.xml

[root@hadoop6 hadoop]#cp mapred-site.xml.template mapred-site.xml

添加配置：

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

指定mapreduce運(yùn)行在yarn框架上。
2）、 配置yarn-site.xml
添加屬性配置：

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop6</value>（設(shè)備名）
 </property>

指定了Resourcemanager運(yùn)行在哪個(gè)節(jié)點(diǎn)上
3）、 啟動(dòng)Resourcemanager
在目錄：/opt/modules/hadoop/sbin

[root@hadoop6 sbin]#yarn-daemon.sh start resourcemanager

4）、 啟動(dòng)nodemanager

[root@hadoop6 sbin]#yarn-daemon.sh start nodemanager

5）、查詢(xún)是否成功
出現(xiàn)以下結(jié)果即為成功


image.png

6）、 YARN的Web頁(yè)面

YARN的Web客戶(hù)端端口號(hào)是8088，通過(guò)http://hadoop6:8088/可以查看

image.png

9、運(yùn)行MapReduce Job

1）、 創(chuàng)建測(cè)試用的Input文件
前面有創(chuàng)建，如果沒(méi)有創(chuàng)建，請(qǐng)參照前面重新創(chuàng)建input文件夾，以及wc.input這個(gè)測(cè)試文本
2）、 運(yùn)行WordCount MapReduce Job

[root@hadoop6 hadoop]# yarn jar /opt/modules/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.3.jar wordcount /input/wc.input /output

3)、查看統(tǒng)計(jì)結(jié)果

[root@hadoop6 hadoop]# hdfs dfs -ls /output

[root@hadoop6 hadoop]# hdfs dfs -cat /output/part-r-00000
image.png
10、開(kāi)啟歷史記錄

在目錄：/opt/modules/hadoop/sbin

[root@hadoop6 sbin]# mr-jobhistory-daemon.sh start historyserver
11、停止hadoop

在目錄：/opt/modules/hadoop/sbin

[root@hadoop6 sbin]# hadoop-daemon.sh stop namenode
[root@hadoop6 sbin]# hadoop-daemon.sh stop datanode
[root@hadoop6 sbin]# yarn-daemon.sh stop resourcemanager
[root@hadoop6 sbin]# yarn-daemon.sh stop nodemanager
[root@hadoop6 sbin]# mr-jobhistory-daemon.sh stop historyserver

第四部分：完全分布式安裝
完全分布式模式才是生產(chǎn)環(huán)境采用的模式，Hadoop運(yùn)行在服務(wù)器集群上，生產(chǎn)環(huán)境一般都會(huì)做HA，以實(shí)現(xiàn)高可用。真正的分布式，由3個(gè)及以上的實(shí)體機(jī)或者虛擬機(jī)組件的機(jī)群。

1、服務(wù)器功能規(guī)劃

image.png

2、克隆虛擬機(jī)

在已經(jīng)建好的虛擬機(jī)上的設(shè)置里面選擇克隆，這里克隆兩份就夠了

3、配置網(wǎng)絡(luò)

1）、修改網(wǎng)卡名稱(chēng)
[root@hadoop6 ~]#vi /etc/sysconfig/network-scripts/ifcfg-eth0

4、配置hosts

[root@hadoop6 ~]#vi /etc/hosts

在原來(lái)的ip和設(shè)備名下面追加

192.168.159.135 hadoop6
192.168.159.135 hadoop7
192.168.159.135 hadoop8

5、配置Windows上的hosts

追加新克隆的主機(jī)的ip和設(shè)備名

6、安裝hadoop

在目錄：/opt/modules創(chuàng)建app目錄

7、配置hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中的JDK路徑：

配置之前確認(rèn)一下jdk是否安好了

[root@hadoop6 ~]#echo ${JAVA_HOME}

結(jié)果為：/opt/modules/jdk1.8

開(kāi)始修改

export JAVA_HOME="/opt/modules/jdk1.8"

8、配置core-site.xml

目錄：/opt/modules/hadoop/etc/hadoop

[root@hadoop6 hadoop]#vi core-site.xml

增加屬性配置：

<property>
   <name>fs.defaultFS</name>
   <value>hdfs://bigdata-senior01.chybinmy.com:8020</value>
 </property>
 <property>
   <name>hadoop.tmp.dir</name>
   <value>/opt/modules/app/hadoop-2.5.0/data/tmp</value>
 </property>

9、配置hdfs-site.xml

目錄：/opt/modules/hadoop/etc/hadoop

[root@hadoop6 hadoop]#vi hdfs-site.xml

添加屬性配置：

 <property>
   <name>dfs.namenode.secondary.http-address</name>
   <value>hadoop6:50090</value>（當(dāng)前設(shè)備名）
 </property>

10、配置slaves

slaves文件是指定HDFS上有哪些DataNode節(jié)點(diǎn)，將需要部署的虛擬機(jī)的ip以及設(shè)備名添加上去，刪掉第一行的hostname
內(nèi)容為：

192.168.159.135 hadoop6
192.168.159.135 hadoop7
192.168.159.135 hadoop8

11、修改yarn-site.xml

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop05</value>(添加第二臺(tái)主機(jī)的名字)
    </property>
    <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>106800</value>
    </property>

12、修改mapred-site.xml

添加屬性

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop03:10020</value>(括號(hào)里的內(nèi)容不需要，這里是主機(jī)名)
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop03:19888</value>(括號(hào)里的內(nèi)容不需要，這里是主機(jī)名)
    </property>

13、設(shè)置SSH無(wú)密碼登錄

首先下載安裝ssh
yum -y install openssh-server openssh-clients
1）在hadoop3上生成公鑰
ssh-keygen -t rsa
一路回車(chē)，使用默認(rèn)操作
2）指定某一個(gè)虛擬機(jī)信任本虛擬機(jī)，需要添加信任的都需要輸入一遍
ssh-copy-id hadoop3

14、拷貝hadoop

1）、在另外兩臺(tái)主機(jī)上/opt/modules目錄下新建app文件夾
2）、刪除/opt/modules/app/hadoop/share路徑下的doc文件夾
3）、將hadoop文件夾拷貝到另外兩個(gè)主機(jī)的app文件夾下

[root@hadoop3 app]#scp -r ./hadoop hadoop4:/opt/modules/app/

補(bǔ)充：在進(jìn)行下一步之前確認(rèn)一下/etc/profile文件有沒(méi)有以下兩行內(nèi)容。沒(méi)有就追加或者修改，然后使用source /etc/profile使之生效

export HADOOP_HOME="/opt/modules/app/hadoop"
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

初始化整個(gè)文件系統(tǒng)：

[root@hadoop3 app]#hdfs namenode -format

15、格式化NameNode

16、啟動(dòng)集群

1、 啟動(dòng)HDFS，在任意一臺(tái)機(jī)器上（namenode，datanode，secondarynamenode）

[root@hadoop3 sbin]# start-dfs.sh

然后用jps命令查看一下是否開(kāi)啟


image.png

2、 啟動(dòng)YARN

start-yarn.sh

在第二臺(tái)機(jī)器上啟動(dòng)（resourcemanager，nodemanager）

[root@hadoop4 app]#yarn-daemon.sh start resourcemanager

出現(xiàn)以下圖片


image.png

3、啟動(dòng)日志服務(wù)器
在第一臺(tái)機(jī)器上

[root@hadoop5 app]# mr-jobhistory-daemon.sh start historyserver

4、運(yùn)行mapreduce
1)、創(chuàng)建一個(gè)wc.input，隨便寫(xiě)一些內(nèi)容

hadoop mapreduce hive
hbase spark storm
sqoop hadoop hive
spark hadoop

2)、創(chuàng)建一個(gè)input文件夾

hdfs dfs -mkdir /input

3)、上傳wc.input到input文件夾下面

hdfs dfs -put wc.input /input

4)、運(yùn)行mapreduce

[root@hadoop3 data]# yarn jar /opt/modules/app/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.3.jar wordcount /input /output

5)、 查看結(jié)果
結(jié)果在output文件夾里面


image.png

17、停止集群

1、停止namenode，datanode，secondarynamenode

stop-dfs.sh

2、在第二臺(tái)主機(jī)停止ResourceManager：

stop resourcemanager

3、在第一臺(tái)的主機(jī)：

[root@hadoop3 data]# mr-jobhistory-daemon.sh stop historyserver
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書(shū)系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容