準備工作
1.共享文件的設置:
進入VMware station,進入編輯虛擬機設置界面 選項-共享文件夾,點擊右邊的添加,設置你的共享文件夾的路徑,此文件夾的內(nèi)容都和Ubuntu共享。


然后進入虛擬機,打開終端輸入以下命令:
sudo apt-get install open-vm-dkms 一路按enter鍵通過。
sudo mount -t vmhgfs .host:/ /mnt/hgfs 這樣/mnt/hgfs下便有了與windows的共享目錄
為了每次開機自動掛載共享目錄,在/etc/init.d/open-vm-tools末尾增加一行:
sudo mount -t vmhgfs .host:/ /mnt/hgfs (host:/ 處有空格)
設置好共享文件夾后,打開你的Ubuntu,在/mnt/hgfs路徑下出現(xiàn)你的文件,說明共享文件夾設置成功。

2.固定IP地址
在虛擬機的System-Settings(設置),點network,打開 wired-options-IPV4
Settings-method:manual,->
Address 192.168.228.200
netmask 255.255.255.0
gateway 192.168,228.2
一、安裝JDK
在Windows下,前往官網(wǎng)下載JDK(當前官網(wǎng)的最新版本jdk1.8.0_05)并把下載好的JDK放在設置的共享文件夾下
1.在Ubuntu中,在 /mnt/hgfs下找到JDK壓縮包進行解壓:
sudo tar zxvf jdk-8u5-linux-x64.gz /usr/local/
2.修改環(huán)境變量
sudo gedit /etc/profile
然后在根據(jù)提示輸入用戶密碼即可,然后在文件最下面添加如下:
export JAVA_HOME=/usr/local/jdk1.8.0_101
export PATH=${JAVA_HOME}/bin:$PATH
保存退出。
3.配置默認jdk版本
sudo update-alternatives --install /usr/local/jdk1.8.0_101 /bin/java 300
sudo update-alternatives --install /usr/local/jdk1.8.0_101 /bin/javac 300
sudo update-alternatives --config java
4.驗證JDK安裝是否成功
java -version
若出現(xiàn)以下提示信息,表明安裝成功。

二.安裝hadoop
同樣,首先在Windows下,前往官網(wǎng)下載好hadoop的壓縮包,放于共享文件夾下
1.在Ubuntu中對其進行解壓,并解壓到相應目錄。
sudo tar zxvf hadoop2.7.1.gz /usr/local/
2.配置hadoop的jdk路徑
cd /home/hadoop/hadoop-2.7.1/etc/Hadoop
打開hadoop-env.sh文件
sudo gedit hadoop-env.sh
3.打開后
替換exportJAVA_HOME=${JAVA_HOME}為如下:
export JAVA_HOME=/usr/local/jdk1.8.0_05
同樣,配置yarn-env.sh,在里面加入:
export JAVA_HOME=/usr/local/jdk1.8.0_05
三.配置Hadoop環(huán)境變量(配置xml文件)
在core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml文件中做相應配置:




四 . 格式化Hadoop文件系統(tǒng)HDFS并啟動Hadoop
- HDFS格式化
初次運行的初始化:
進入hadoop的根目錄:
cd hadoop/hadoop-2.6
初始化:
./bin/hdfs namenode -format
2.啟動hadoop
sbin/start-dfs.sh
sbin/start-yarn.sh
或
sbin/start-all.sh
3.如果安裝成功,在master機上輸入jps后結(jié)果如下:

4.測試 (此環(huán)節(jié)容易瀏覽器不能上網(wǎng) 解決方法:固定IP)
在Ubuntu里,找到瀏覽器并輸入網(wǎng)址 http://master:50070 可以看到hdfs的信息。

在瀏覽其中輸入:http://master:8088 可以看到hadoop的信息

五.安裝免密碼登錄SSH
- 修改主機名
sudo gedit /etc/network/interfaces
(1)臨時修改
sudo hostname master
(2)永久修改:
sudo gedit /etc/hostname 修改后重啟生效
2.記下本機的ip
查看本機ip:
ifconfig
3.配置主機信息:
sudo gedit /etc/hosts
把本機的ip地址和主機名進行修改

4.關(guān)閉防火墻
若要關(guān)閉Ubuntu系統(tǒng)的防火墻功能,則執(zhí)行命令:
sudo ufw disable
之后,系統(tǒng)提示“防火墻在系統(tǒng)啟動時自動禁用”。
執(zhí)行以下命令,重新啟動虛擬機。
sudo reboot now
- 安裝SSH服務
sudo apt-get install openssh-server
- 檢查SSH服務是否啟動
sudo ps -e | grep sshd
- 生成RSA密鑰(包括私鑰和公鑰)
ssh-keygen -t rsa
- 寫入秘鑰信息
cd ~/.ssh
cat id_rsa.pub >> authorized_keys (把id_rsa.pub追加到授權(quán)的key里面去)
scp authorized_keys master:~/.ssh/ (將生成的authorized_keys文件拷貝到slave1主機相同的文件夾下)
成功安裝后,即可主節(jié)點切換到從節(jié)點可不用輸密碼,效果為:
1.首先必須啟動主節(jié)點和從節(jié)點的hadoop,并jps出現(xiàn)相應節(jié)點:
主節(jié)點:

從節(jié)點:

2.SSH主節(jié)點切換到從節(jié)點:
