偽分布模式的搭建

配置ubuntu環(huán)境:

1. 防火墻

》查看防火墻狀態(tài):sudo ufw status

》關(guān)閉本機(jī)防火墻:控制面板——window防火墻——打開或關(guān)閉windows防火墻——關(guān)閉防火墻

2. jdk和scp

》下載32位jdk:

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

安裝winscp,配置虛擬機(jī)的ip和訪問用戶/密碼:

-rw-rw-r-- 1 hadoop hadoop 188157665 Sep 10 05:21 jdk-8u144-linux-i586.tar.gz

hadoop@ubuntu:~/profile/download$ pwd

/home/hadoop/profile/download

》安裝jdk:

root@ubuntu:/home/hadoop/profile/download# tar zxvf? jdk-8u144-linux-i586.tar.gz -C /root/directory/java

》查看安裝情況:

root@ubuntu:~/directory/java# pwd

/root/directory/java

root@ubuntu:~/directory/java# ls

jdk1.8.0_144

》配置環(huán)境變量:

export JAVA_HOME=/root/directory/java/jdk1.8.0_144

export PATH=${JAVA_HOME}/bin:$PATH

》加載及測試:

root@ubuntu:/etc# source profile

root@ubuntu:/etc# java -version

java version "1.8.0_144"

Java(TM) SE Runtime Environment (build 1.8.0_144-b01)

Java HotSpot(TM) Client VM (build 25.144-b01, mixed mode)

3. 搭建偽分布模式

》設(shè)置主機(jī)名稱

sed -i 's/ubuntu/dj/g' /etc/hostname

sudo gedit /etc/hostname

sed -i 's/ubuntu/dj/g' /etc/hosts

sudo gedit /etc/hosts

》下載包:http://www.apache.org/dyn/closer.cgi/hadoop/common/

選擇下載:http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.4/hadoop-2.7.4.tar.gz

通過scp上傳,解壓:

tar -zxvf? /home/hadoop/profile/download/hadoop-2.7.4.tar.gz-C /root/directory/

》設(shè)置環(huán)境變量:

vi ~/.bash_profile

export HADOOP_HOME=/root/directory/hadoop-2.7.4

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

》加載環(huán)境變量:

source ~/.bash_profile

》配置 hadoop-env.sh

export JAVA_HOME=/root/directory/java/jdk1.8.0_144

配置hdfs-site.xml


配置core-site.xml:

配置mapred-site.xml:

cp? mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

配置yarn-site.xml

對hdfs進(jìn)行格式化:hdfs namenode -format

啟動hdfs和yarn:start-all.sh

查看進(jìn)程:

root@dj:~/directory/hadoop-2.7.4/sbin# jps

3890 ResourceManager

2837 NameNode

3142 SecondaryNameNode

2957 DataNode

4013 NodeManager

4045 Jps

查看頁面:


后臺日志報錯:

doesn't satisfy minimum allocations, Sending SHUTDOWN signal to the NodeManager.

修改配置文件;

yarn-site.xml

配置host:vi /etc/hosts

添加:192.168.1.119? dj

修改配置:

core-site.xml


arn

yarn-site.xml


配置免秘鑰登陸:

ssh-keygen -t rsa
ssh-copy-id -i .ssh/id_rsa.pub root@dj
檢測免秘鑰是否成功:start-all.sh

root@dj:~# jps

2980 DataNode

3527 Jps

2857 NameNode

3353 ResourceManager

3162 SecondaryNameNode

3483 NodeManager

root@dj:~#

無需輸入密碼,登陸成功

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容