手把手教你配置hadoop(一)

網(wǎng)絡(luò)配置

命令:
你的虛擬機(jī)也可能是ens33

vi /etc/sysconfig/network-scripts/ifcfg-ens32

修改如下
IPADDR的網(wǎng)段要與上圖中的子網(wǎng)IP網(wǎng)段一致,GATEWAY的網(wǎng)段也要一致(前段數(shù)字都要一樣,最后一段數(shù)字隨意
不要用2-255)


image.png
配置網(wǎng)絡(luò)工作

/etc/sysconfig/network 文件里增加如下配置

image.png

修改

關(guān)閉防火墻并重啟

image.png

我們發(fā)現(xiàn)ping無法使用時


image.png

image.png

重啟服務(wù)
ping百度

ctrl+c退出

centos7配置(三臺虛擬機(jī)都需要配置)

1.配置自動時鐘同步

該項同時需要在HadoopSlave節(jié)點(diǎn)配置。

1.1使用Linux命令配置

[root@master ~]# crontab -e

vi下的操作大家一定要會
該命令是vi編輯命令,按i進(jìn)入插入模式,按Esc,然后鍵入:wq保存退出
鍵入下面的一行代碼,輸入i,進(jìn)入插入模式(星號之間和前后都有空格)

*/5 * * * * ntpdate -u ntp1.aliyun.com

2.配置主機(jī)名

2.1HadoopMaster節(jié)點(diǎn)

使用vi編輯主機(jī)名

[root@master ]# vi /etc/hostname

配置信息如下,如果已經(jīng)存在則不修改,將HadoopMaster節(jié)點(diǎn)的主機(jī)名改為master,即下面代碼的第2行所示。
master
確實修改生效命令:

[root@master kkb]# hostname master

檢測主機(jī)名是否修改成功命令如下,在操作之前需要關(guān)閉當(dāng)前終端,重新打開一個終端:

[root@master kkb]# hostname
image.png

2.2HadoopSlave節(jié)點(diǎn)(兩個Slave節(jié)點(diǎn))

使用vi編輯主機(jī)名:

[root@slave kkb]# vi /etc/hostname

配置信息如下,如果已經(jīng)存在則不修改,將Hadoopslave節(jié)點(diǎn)的主機(jī)名改為slave,即下面代碼的第
2行所示。 slave01
另一臺改為
slave02
確實修改生效命令:

  [root@slave kkb]# hostname slave01
image.png

另一臺執(zhí)行

[root@slave kkb]# hostname slave02
image.png

檢測主機(jī)名是否修改成功命令如下,在操作之前需要關(guān)閉當(dāng)前終端,重新打開一個終端: [root@slave kkb]#
hostname
[圖片上傳中...(image.png-ba3c18-1576726720350-0)]

5.配置hosts列表(配置映射列表)

該項也需要在HadoopSlave節(jié)點(diǎn)配置。
需要在root用戶下(使用su命令),編輯主機(jī)名列表的命令:

[root@master ~]# vi /etc/hosts

將下面兩行添加到/etc/hosts文件中:

192.168.48.128 master
192.168.48.129 slave01
192.168.48.130 slave02
三臺虛擬機(jī)都需要配置

注意:這里master節(jié)點(diǎn)對應(yīng)IP地址是192.168.48.128,slave1對應(yīng)的IP是192.168.48.129,slave2對應(yīng)的IP是192.168.48.130,而自己在做配置時,需要將這兩個IP地址改為你的master和slave對應(yīng)的IP地址


image.png

配置完畢后查看ifconfig


image.png

可以用ping來查看是否連通

[root@master ~]$ ping slave01
[kkb@master ~]$ ping slave02
[kkb@slave01 ~]$ ping master 
[kkb@slave02 ~]$ ping master

如果出現(xiàn)下圖的信息表示配置成功:


image.png

6.安裝JDK

該項也需要在HadoopSlave節(jié)點(diǎn)配置。

首先查詢系統(tǒng)自帶的jdk,但我們一般不使用
[kkb@master ~]$ rpm -qa | grep java

然后移除系統(tǒng)自帶的jdk
[root@master ~]# yum remove java-1.*   # *號代表是占位符
image.png

將JDK文件解壓,放到/usr/java目錄下


image.png

放入文件有2種方式:

第一種直接復(fù)制

image.png

image.png

因為我們的解壓包在桌面上所以先移動/usr/java/下,再解壓


image.png

使用cd命令回到root用戶的家目錄下

[root@master java]$ cd

使用vi配置環(huán)境變量root用戶下
[root@master ~]$ vi .bash_profile

復(fù)制粘貼以下內(nèi)容添加到到上面vi打開的文件中:

#我們提前把hadoop的環(huán)境變量設(shè)好了
JAVA_HOME=/usr/java/jdk1.8.0_181/
HADOOP_HOME=/software/hadoop/hadoop-2.7.3
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JAVA_HOME
export HADOOP_HOME
export PATH
image.png

接著讓環(huán)境變量生效

#環(huán)境變量生效
[root@master ~]$ source .bash_profile

#測試配置:
root@master ~]$ java -version
成功

7.免密鑰登錄配置(root用戶與普通用戶均需要配置)

7.1三個節(jié)點(diǎn)分別執(zhí)行生成秘鑰的命令

[root@master ~]# ssh-keygen -t rsa #一路回車完成秘鑰生成
[root@slave01 ~]# ssh-keygen -t rsa #一路回車完成秘鑰生成
[root@slave02 ~]# ssh-keygen -t rsa #一路回車完成秘鑰生成

7.2在master節(jié)點(diǎn)上做示范,以下的命令需要在所有節(jié)點(diǎn)上執(zhí)行

[root@master ~]# ssh-copy-id -i slave01
[root@master ~]# ssh-copy-id -i slave02

以node1節(jié)點(diǎn)作為示范,其他節(jié)點(diǎn)需要相應(yīng)的驗證.如果免密碼登錄失敗,會提示輸入登錄密碼,此時重復(fù)7.1和7.2等兩個步驟

[root@master ~]# ssh slave01
[root@master ~]# ssh slave02

ssh遠(yuǎn)程登錄其他節(jié)點(diǎn)后,可使用exit退回到本機(jī)節(jié)點(diǎn)


image.png

8. 創(chuàng)建hadoop用戶和hadoop組

此用戶用于操作hadoop集群,因此也需要對此用進(jìn)行免密碼登錄配置.此處以node1節(jié)點(diǎn)為例,其他節(jié)點(diǎn)也需要按照以下步驟操作.

[root@node1 ~] useradd kkb
[root@node1 ~] passwd kkb #密碼輸入kkb
[root@node1 ~] groupadd kkb #創(chuàng)建kkb用戶組
[root@node1 ~] usermod -G kkb kkb #講hadoop添加到hadoop組中
[root@node1 ~] su - kkb #切換到hadoop用戶目錄下
[kkb@master ~]# ssh-keygen -t rsa #一路回車完成秘鑰生成
[kkb@master ~]$ cd .ssh
[kkb@master .ssh]$ cat id_rsa.pub >> authorized_keys #將生成的公鑰添加到認(rèn)證文件中

在普通用戶下做ssh操作與上面root用戶做ssh操作相同,三臺都要做,只是多出一步將公鑰添加到認(rèn)證文件
(普通用戶意味著權(quán)限稍弱)
先cd 返回根目錄,重復(fù)上面7.2,7.3操作

出現(xiàn)免密失敗的解決方法

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

友情鏈接更多精彩內(nèi)容