国产精品日日躁夜夜躁,99re自拍视频,欧美国产页第69页

本教程提供了從VMware的安裝開始到hadoop的偽分布式安裝，再到eclipse的安裝配置的所有步驟，適合所有想入門hadoop的初學(xué)者。需要的工具可以到`http://pan.baidu.com/s/1hstGdCg 密碼：8gfn`下載。

環(huán)境

操作系統(tǒng):Ubuntu-16.04
Hadoop版本:2.6.0
JDK版本:1.8

虛擬機(jī)的安裝

安裝好VMware，打開VMware主界面，點(diǎn)擊”創(chuàng)建新的虛擬機(jī)”
選擇”自定義”然后下一步
直接下一步
選擇”稍后安裝操作系統(tǒng)”
選擇”Linux”系統(tǒng)版本選擇”Ubuntu 64位”
選擇合適的位置安裝(盡量不要使用中文路徑)
配置好的電腦可以多分配處理器，不過就這樣也暫時(shí)能跑
下一步
下一步
下一步
下一步
這里要選”將虛擬磁盤儲(chǔ)存為單個(gè)文件”
下一步
點(diǎn)擊”自定義硬件”，使用ISO映像文件選擇Ubuntu的ISO文件的位置
完成后打開虛擬機(jī)，選擇”中文簡(jiǎn)體”然后”安裝Ubuntu”(如果打不開虛擬機(jī)，可能是BIOS中設(shè)置問題，具體需要搜索自己的電腦的品牌設(shè)置)
勾上”安裝Ubuntu時(shí)下載更新”
點(diǎn)擊現(xiàn)在安裝，接著點(diǎn)繼續(xù)
點(diǎn)擊繼續(xù)
點(diǎn)擊繼續(xù)
取個(gè)名字，設(shè)置好密碼，點(diǎn)繼續(xù)（我的主機(jī)名是tiny，為了方便你可以改成和我一樣）
等待安裝
安裝完畢，重啟就OK了

下載配置hadoop需要的各種工具

右鍵打開終端，先設(shè)置ROOT賬戶的密碼
sudo passwd root
更新下apt
sudo apt-get update
安裝VIM，習(xí)慣VI的可以不用安裝
轉(zhuǎn)到VMware的菜單點(diǎn)擊虛擬機(jī)，選擇"安裝VMware tools"，系統(tǒng)會(huì)跳出一個(gè)VMware的安裝包，拉到Home下（第一次可以跳不出，可以找到左邊光盤的圖標(biāo)右鍵彈出，然后再點(diǎn)一次"安裝VMware tools"）
解壓到當(dāng)前用戶目錄下(VMwareTools的版本會(huì)變,以具體安裝時(shí)為準(zhǔn),用)
tar zxvf VMwareTools-XXXX-3228253.tar.gz -C /home/tiny
切換到當(dāng)前用戶目錄，開始安裝，這里一直輸yes和按回車就好了
安裝完后重啟生效,現(xiàn)在就可以往虛擬機(jī)中直接傳輸文件和復(fù)制黏貼了,然后打開Ubuntu把壓縮包拉倒home中備用(相關(guān)壓縮包下載地址：http://pan.baidu.com/s/1bpLCFIR 密碼：cd9a)

安裝SSH配置，配置SSH無密碼登錄

安裝SSH服務(wù)
sudo apt-get install openssh-server
先登錄下ssh，輸入密碼
ssh localhost
再退出
exit
這樣就有.ssh文件夾了，然后按下圖操作中間一直回車就行了

cd ~/.ssh
ssh-keygen -t rsa
cat ./id_rsa.pub >> ./authorized_keys

5.測(cè)試免密登陸
ssh localhost

安裝JDK

先創(chuàng)建文件夾準(zhǔn)備放JDK
sudo mkdir -p /usr/lib/jvm
解壓JDK到/usr/lib/jvm
sudo tar zxvf jdk-8u101-linux-x64.tar.gz -C /usr/lib/jvm
配置環(huán)境變量
sudo vim /etc/profile
最下面添加內(nèi)容然后保存（VIM按a鍵進(jìn)入輸入模式，按esc鍵再輸入:wq保存，別的具體操作可以自行搜索)

#set java environment
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_101
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:{JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

5.使其生效
source /etc/profile

6.測(cè)試結(jié)果
java

安裝hadoop

解壓hadoop
sudo tar zxvf hadoop-2.6.0.tar.gz -C /usr/local
重命名下hadoop文件夾方便配置
sudo mv /usr/local/hadoop-2.6.0/ /usr/local/hadoop
配置hadoop環(huán)境變量

#set hadoop path
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

4.使其生效
source /etc/profile

5.獲取hadoop文件夾權(quán)限(這里我的主機(jī)名是tiny,改為自己的主機(jī)名)
sudo chown -R tiny /usr/local/hadoop/

6.修改hadoop-env.sh,找到這一欄，修改JAVA_HOME

cd /usr/local/hadoop/etc/hadoop/
vim hadoop-env.sh

7.修改core-site.xml(在<configuration>標(biāo)簽里添加)
vim core-site.xml

        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop/tmp</value>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>

8.修改hdfs-site.xml
vim hdfs-site.xml

        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>

9.修改mapred-site.xml
mv mapred-site.xml.template mapred-site.xml

vim mapred-site.xml

        <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
        </property>

10.修改 yarn-site.xml
vim yarn-site.xml

        <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
        </property>

11.配置完回到主文件夾

12.格式化
hadoop namenode -format

成功的話，會(huì)看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若為 “Exitting with status 1” 則是出錯(cuò)

13.先啟動(dòng)start-dfs.sh
sbin/start-dfs.sh

14.再啟動(dòng)start-yarn.sh
sbin/start-yarn.sh

15.查看jps
jps

安裝eclipse

在 Ubuntu 中安裝 Eclipse，可從 Ubuntu 的軟件中心直接搜索安裝，在桌面左側(cè)任務(wù)欄，點(diǎn)擊“Ubuntu軟件中心”
在右上角搜索欄中搜索 eclipse，在搜索結(jié)果中單擊 eclipse，并點(diǎn)擊安裝
安裝 Hadoop-Eclipse-Plugin
unzip -qo hadoop2x-eclipse-plugin-master.zip -d /home/tiny

sudo cp ~/hadoop2x-eclipse-plugin-master/release/hadoop-eclipse-plugin-2.6.0.jar /usr/lib/eclipse/plugins/

/usr/lib/eclipse/eclipse -clean
配置Hadoop-Eclipse-Plugin
在繼續(xù)配置前請(qǐng)確保已經(jīng)開啟了 Hadoop。
第一步：選擇 Window 菜單下的 Preference。

此時(shí)會(huì)彈出一個(gè)窗體，窗體的左側(cè)會(huì)多出 Hadoop Map/Reduce 選項(xiàng)，點(diǎn)擊此選項(xiàng)，選擇 Hadoop 的安裝目錄

第二步：切換 Map/Reduce 開發(fā)視圖，選擇 Window 菜單下選擇 Open Perspective -> Other（CentOS 是 Window -> Perspective -> Open Perspective -> Other），彈出一個(gè)窗體，從中選擇 Map/Reduce 選項(xiàng)即可進(jìn)行切換。

第三步：建立與 Hadoop 集群的連接，點(diǎn)擊 Eclipse軟件右下角的 Map/Reduce Locations 面板，在面板中單擊右鍵，選擇 New Hadoop Location。

在跳出來的面板里改成下圖的設(shè)置

可以直接到看HDFS的文件結(jié)構(gòu)了