虛擬機Java與Hadoop的安裝與配置
- Java安裝
- 1.開啟vm共享文件夾,并將jdk與Hadoop的安裝文件放入共享文件夾,使用cd /mnt/hgfs進入共享文件夾
- 2.使用linux復制語句,將文件全部從共享文件夾中復制到/usr/local/src
- 3.獲取管理員權限,轉入/usr/local/src 文件夾,運行jdk安裝文件
- 4.配置jdk環(huán)境變量,vim ~/.bashrc,打開文件,輸入如圖屬性(此處使用的jdk版本為1.6.0_45),保存退出
image.png
- Hadoop安裝
- 1.獲取管理員權限,進入/usr/local/src
- 2.解壓Hadoop安裝文件
集群搭建
- 1.進入/usr/local/src中的Hadoop解壓文件夾,并創(chuàng)建tmp,用于放置臨時文件
- 2.進入Hadoop文件下的conf文件夾,更改masters,slaves,core-site.xml,mapred-site.xml,hdfs-site.xml,hadoop-env.sh
masters
image.png
slaves
image.png
core-site.xml
image.png
mapred-site.xml
image.png
hdfs-site.xml
image.png
hadoop-env.sh
image.png
- 6.配置本地網絡,更改hosts文件,在文件中添加如圖,保存退出
image.png
- 4.執(zhí)行hostname master,更改/etc/sysconfig/network,將hostname更改為master,保存退出
- 5.將虛擬機所在文件復制3份,導入VMware Workstation Pro
- 6.更改slave1與slave2的IP地址與在hosts中設置的IP地址一致,并將其網絡適配器刪除后重新添加,并將其添加至SecureCRT中,在其中操作(所有操作都需要管理員權限,請首先使用su命令獲取)
- 7.選擇一個虛擬機作為主機,更改名字為master,其他兩個分別更改名字為slave1,slave2,并更改network中的hostname為對應名字,執(zhí)行hostnam+對應名字
- 8.為了保證之后網絡連接問題,關閉系統防火墻,/etc/init.d/iptables stop并執(zhí)行 setenforce 0,每臺機器都要執(zhí)行
- 9.建立機器之間的互信關系,可以不用命令就可操作其系統.執(zhí)行ssh-keygen,生成公鑰(id_rsa.pub)與私鑰文件,執(zhí)行cd ~/.ssh,進入文件夾內,執(zhí)行cat id_rsa.pub > authorized_keys,將公鑰文件復制到authorized_keys中,每臺機器執(zhí)行一遍
- 10.將每臺機器中的authorized_keys保存至另兩臺中的authorized_keys中
- 11.在master中使用ssh slave1驗證是否需要密碼鏈接slave1機器
- 12.在master中記入Hadoop文件夾中的bin文件夾,并執(zhí)行./hadoop namenode -formate命令格式化,使用./start-all.sh啟動集群,使用jps查看進程是否啟動如圖
master
image.png
slave1
image.png
slave2
image.png
