搭建Spark集群(三)——搭建Hadoop集群環(huán)境

上一次分享已經(jīng)把CentOS 7 系統(tǒng)安裝到Master虛擬機上,下面就是安裝JDK,搭建Hadoop集群,如果在安裝時,網(wǎng)絡(luò)環(huán)境沒有配置好,可以參照下面配置網(wǎng)絡(luò)環(huán)境來進(jìn)行設(shè)置

1 添加hadoop用戶

安裝時,只添加了root用戶,而后面需要用到ssh免密碼通信,為了避免暴漏太多了權(quán)限,我們可以新建一個名為hadoop的用戶
#添加hadoop用戶
useradd hadoop
passwd hadoop
(按照提示輸入密碼)

2 配置網(wǎng)絡(luò)環(huán)境

2.1 關(guān)閉防火墻

 systemctl status firewalld.service  --查看防火墻狀態(tài)
 systemctl stop firewalld.service  --關(guān)閉防火墻
 systemctl disable firewalld.service  --永久關(guān)閉防火墻
 systemctl status firewalld.service  --再查看防火墻狀

2.2 設(shè)置靜態(tài)IP地址

CentOS 7最小化安裝是沒有ifconfig指令的,而是采用ip指令,想繼續(xù)使用ifconfig指令需要自己安裝:

 yum upgrade
 yum install net-tools

ip指令與ifconfig的對照可參考下圖:

使用ip指令,查看網(wǎng)絡(luò)連接情況,輸入ip link指令,可查看網(wǎng)絡(luò)連接情況


修改配置文件,設(shè)定固定IP地址
切換到root賬戶下

  cd /etc/sysconfig/network-scripts/
  vi ifcfg-enp0s3

把IP地址設(shè)為192.160.1.160(自己預(yù)先想好每臺虛擬機的IP方案)

  HWADDR=08:00:27:51:74:6A  --根據(jù)每臺虛擬機的MAC地址設(shè)置
  TYPE=Ethernet
  BOOTPROTO=static  --static表示固定IP地址
  DEFROUTE=yes
  IPV4_FAILURE_FATAL=no
  IPV6INIT=yes
  IPV6_AUTOCONF=yes
  IPV6_DEFROUTE=yes
  IPV6_FAILURE_FATAL=no
  NAME=enp0s3
  UUID=ed8d2360-aaee-4a86-ace2-fc531df48970  --每臺虛擬機都有自己的UUID
  ONBOOT=yes 
  IPADDR0=192.168.1.160  --設(shè)置固定IP地址
  PREFIX0=24
  GATEWAY0=192.168.1.1  --
  DNS1=2**.9*.1**.3*  --DNS根據(jù)自己網(wǎng)絡(luò)來設(shè)置
  IPV6_PEERDNS=yes
  IPV6_PEERROUTES=yes      

2.3 使用WinSCP、Xshell工具

設(shè)定好固定IP后,就可以通過XShell和WinSCP工具來遠(yuǎn)程訪問這臺虛擬機了,其中XShell是一個終端工具類似于Putty(根據(jù)個人喜好來選擇也行),WinSCP工具可以直接上傳文件到虛擬機上,方便在windows 7里下載相關(guān)的安裝文件,然后上傳到虛擬機里。使用方法很簡單,新建連接后,輸入IP地址即可,這里是輸入192.168.1.160,其他配置不需要修改


確定后輸入帳號密碼即可登錄。WinSCP的使用類似,同樣輸入IP地址、帳號以及密碼后,即可訪問,然后可以直接上傳東西,使用非常方便

3 安裝JDK

可通過下面的命令查看現(xiàn)在的系統(tǒng)是否已經(jīng)安裝了jdk,如果安裝了,可以卸載后,從官網(wǎng)下載安裝最新的JDK,在我寫這篇文章時,最新的JDK是jdk-8u45版本,我這下載的是jdk-8u45-linux-x64.rpm,下載下來后,用WinSCP上傳即可

3.1 查看和卸載已安裝的JDK

首先切換到root用戶。通過這個命令可查看現(xiàn)在系統(tǒng)已經(jīng)安裝的JDK(如果無安裝,則無結(jié)果顯示)rpm -qa | grep jdk


卸載已經(jīng)安裝的jdk可通過這一命令rpm -e --nodeps jdk-1.7.0_79-fcs.x86_64

3.2 安裝最新的JDK

進(jìn)入jdk安裝包所在目錄


增加rpm的可執(zhí)行權(quán)限并執(zhí)行rpm安裝jdk

 chmod +x jdk-8u45-linux-x64.rpm
 rpm -ivh jdk-8u45-linux-x64.rpm


一般情況下,jdk都是安裝到/usr/java目錄下


出現(xiàn)上圖所示表示已經(jīng)安裝成功,接下來就是對java環(huán)境變量進(jìn)行配置

3.3 配置JAVA環(huán)境變量

編輯/etc/profile文件,這里使用vim命令進(jìn)行編輯(前面都是用vi,但發(fā)現(xiàn)vi的顯示效果不是很好,所以后面安裝了vim,安裝方法可自行百度查看)

 vim /etc/profile
 #在文件最后添加一下內(nèi)容:
 export JAVA_HOME=/usr/java/jdk1.7.0_79
 export JAVA_BIN=/usr/java/jdk1.7.0_79/bin
 export PATH=$PATH:$JAVA_HOME/bin
 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
 export JAVA_HOME JAVA_BIN PATH CLASSPATH

添加完后按Esc鍵退出編輯狀態(tài),接著輸入:wq進(jìn)行保存,返回后,可輸入source /etc/profile使其立即生效,同時通過命令java -version檢查是否安裝設(shè)置成功

4 安裝配置Hadoop2.6.0

進(jìn)入hadoop-2.6.0.tar.gz文件所在目錄,解壓文件,并把文件移動到/opt目錄下(我的hadoop-2.6.0.tar.gz文件是在/home/hadoop/tools目錄下,可以根據(jù)自己的實際情況cd到文件所在目錄)

 cd /home/hadoop/tools
 tar -xvzf hadoop-2.6.0.tar.gz
 mv hadoop-2.6.0 /opt
 cd /opt/
 ##賦予hadoop用戶修改hadoop-2.6.0的權(quán)限
 chown -R hadoop:hadoop hadoop-2.6.0

4.1 配置hadoop環(huán)境變量

編輯/etc/profile文件,在末尾添加如下兩行:

 export HADOOP_HOME=/opt/hadoop-2.6.0
 export PATH=$PATH:$HADOOP_HOME/bin

添加完后,使用source /etc/profile命令,是其立即生效

4.2 添加hdfs和tmp文件夾

進(jìn)入hadoop所在目錄cd /opt/hadoop-2.6.0

 mkdir hdfs
 mkdir tmp
 cd hdfs
 mkdir data
 mkdir name

4.3 修改hadoop配置文件

修改hadoop的配置文件主要包括下面幾個

  • hadoop-env.sh
  • yarn-env.sh
  • mapred-env.sh
  • slaves
  • core-site.xml
  • hdfs-site.xml
  • mapred-site.xml
  • yarn-site.xml

未完待續(xù)。。。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容