Hadoop搭建的具體實施

準備工作

1.共享文件的設置:
進入VMware station,進入編輯虛擬機設置界面 選項-共享文件夾,點擊右邊的添加,設置你的共享文件夾的路徑,此文件夾的內(nèi)容都和Ubuntu共享。


編輯虛擬機設置
添加共享文件夾地址

然后進入虛擬機,打開終端輸入以下命令:

sudo apt-get install open-vm-dkms  一路按enter鍵通過。 
sudo mount  -t  vmhgfs  .host:/   /mnt/hgfs  這樣/mnt/hgfs下便有了與windows的共享目錄
為了每次開機自動掛載共享目錄,在/etc/init.d/open-vm-tools末尾增加一行: 
sudo mount  -t  vmhgfs  .host:/    /mnt/hgfs     (host:/  處有空格)

設置好共享文件夾后,打開你的Ubuntu,在/mnt/hgfs路徑下出現(xiàn)你的文件,說明共享文件夾設置成功。

此路徑的movie文件夾,為我設置的共享文件夾,里面的內(nèi)容為我Windows系統(tǒng)下文件夾里的內(nèi)容

2.固定IP地址

在虛擬機的System-Settings(設置),點network,打開 wired-options-IPV4 
Settings-method:manual,->
 Address  192.168.228.200
 netmask  255.255.255.0
 gateway  192.168,228.2

一、安裝JDK

在Windows下,前往官網(wǎng)下載JDK(當前官網(wǎng)的最新版本jdk1.8.0_05)并把下載好的JDK放在設置的共享文件夾下

1.在Ubuntu中,在 /mnt/hgfs下找到JDK壓縮包進行解壓:

sudo tar  zxvf  jdk-8u5-linux-x64.gz    /usr/local/

2.修改環(huán)境變量

sudo gedit  /etc/profile

然后在根據(jù)提示輸入用戶密碼即可,然后在文件最下面添加如下:

export JAVA_HOME=/usr/local/jdk1.8.0_101 
export PATH=${JAVA_HOME}/bin:$PATH 

保存退出。

3.配置默認jdk版本

sudo update-alternatives --install /usr/local/jdk1.8.0_101 /bin/java 300  
sudo update-alternatives --install /usr/local/jdk1.8.0_101 /bin/javac 300
sudo update-alternatives --config java

4.驗證JDK安裝是否成功

java -version

若出現(xiàn)以下提示信息,表明安裝成功。

顯示JDK的版本號

二.安裝hadoop

同樣,首先在Windows下,前往官網(wǎng)下載好hadoop的壓縮包,放于共享文件夾下
1.在Ubuntu中對其進行解壓,并解壓到相應目錄。

 sudo tar  zxvf  hadoop2.7.1.gz    /usr/local/

2.配置hadoop的jdk路徑

cd  /home/hadoop/hadoop-2.7.1/etc/Hadoop 

打開hadoop-env.sh文件

sudo gedit  hadoop-env.sh

3.打開后
替換exportJAVA_HOME=${JAVA_HOME}為如下:

    export JAVA_HOME=/usr/local/jdk1.8.0_05

同樣,配置yarn-env.sh,在里面加入:

 export JAVA_HOME=/usr/local/jdk1.8.0_05

三.配置Hadoop環(huán)境變量(配置xml文件)

在core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml文件中做相應配置:

core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml

四 . 格式化Hadoop文件系統(tǒng)HDFS并啟動Hadoop

  1. HDFS格式化
    初次運行的初始化:
    進入hadoop的根目錄:
cd hadoop/hadoop-2.6

初始化:

./bin/hdfs namenode -format

2.啟動hadoop

 sbin/start-dfs.sh
 sbin/start-yarn.sh
 或
 sbin/start-all.sh

3.如果安裝成功,在master機上輸入jps后結(jié)果如下:

jps結(jié)果

4.測試 (此環(huán)節(jié)容易瀏覽器不能上網(wǎng) 解決方法:固定IP)
在Ubuntu里,找到瀏覽器并輸入網(wǎng)址 http://master:50070 可以看到hdfs的信息。

hdfs信息

在瀏覽其中輸入:http://master:8088 可以看到hadoop的信息

hadoop信息

五.安裝免密碼登錄SSH

  1. 修改主機名
 sudo gedit /etc/network/interfaces

(1)臨時修改

sudo hostname master

(2)永久修改:

sudo gedit /etc/hostname 修改后重啟生效

2.記下本機的ip

查看本機ip:

ifconfig

3.配置主機信息:

sudo gedit /etc/hosts

把本機的ip地址和主機名進行修改

修改IP和主機名

4.關(guān)閉防火墻
若要關(guān)閉Ubuntu系統(tǒng)的防火墻功能,則執(zhí)行命令:

sudo ufw disable

之后,系統(tǒng)提示“防火墻在系統(tǒng)啟動時自動禁用”。

執(zhí)行以下命令,重新啟動虛擬機。

sudo reboot now
  1. 安裝SSH服務
sudo apt-get install openssh-server
  1. 檢查SSH服務是否啟動
sudo ps -e | grep sshd
  1. 生成RSA密鑰(包括私鑰和公鑰)
ssh-keygen -t rsa
  1. 寫入秘鑰信息
cd ~/.ssh
cat id_rsa.pub >> authorized_keys (把id_rsa.pub追加到授權(quán)的key里面去)
   scp authorized_keys master:~/.ssh/ (將生成的authorized_keys文件拷貝到slave1主機相同的文件夾下)

成功安裝后,即可主節(jié)點切換到從節(jié)點可不用輸密碼,效果為:

1.首先必須啟動主節(jié)點和從節(jié)點的hadoop,并jps出現(xiàn)相應節(jié)點:
主節(jié)點:

主節(jié)點jps的結(jié)果

從節(jié)點:

從節(jié)點jps的結(jié)果

2.SSH主節(jié)點切換到從節(jié)點:

從主節(jié)點切換至從節(jié)點
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容