2016 hadoop偽分布式安裝

1、VirtualBox虛擬機(jī)安裝網(wǎng)絡(luò)配置等可參考這篇文章:http://www.cnblogs.com/vovlie/archive/2012/09/01/2666807.html

配置SSH互信

? 分別啟動(dòng)h1,h2,h3虛擬機(jī),互相ping確認(rèn)是否能通。

然后分別使用grid用戶,正常登錄每臺機(jī)器執(zhí)行生成密鑰命令。

ssh-keygen –t rsa

回到h1主機(jī)上,使用跨主機(jī)的管道和重定向?qū)2,h3主機(jī)上的公鑰id_rsa.pub添加到h1上的authorized_keys文件中

cat id_rsa.pub >authorized_keys ?將h1的id_rsa.pub寫入authorized_keys

ssh h2 cat ~/.ssh/id_rsa.pub >>authorized_keys 將h2的id_rsa.pub追加寫入authorized_keys

……

然后分別scp復(fù)制到h2,h3機(jī)器中。

scp authorized_keys?grid@h2:~/.ssh/

1)chmod 600 ~/.ssh/authorized_keys 設(shè)置權(quán)限

2)修改SSH配置文件

su -? -->登陸root用戶修改配置文件

vi /etc/ssh/sshd_config

3)測試連接

service sshd restart -->重啟ssh服務(wù),

exit? -->退出root用戶,回到普通用戶

ssh h2 -->連接用戶測試

下載hadoop

wgethttp://mirror.nus.edu.sg/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1.tar.gz

解壓hadoop

[grid@h1 ~]$ tar zxvf hadoop-2.7.1.tar.gz

七個(gè)配置文件

yarn-env.sh

配置jdk

export?JAVA_HOME=/usr/java/jdk1.7.0_80

hadoop-env.sh

配置jdk

export?JAVA_HOME=/usr/java/jdk1.7.0_80

slaves

cat slaves

添加h1和h2

master默認(rèn)不用配置

yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.aux-services.mapreduce.shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

yarn.resourcemanager.address

h1:8032

yarn.resourcemanager.scheduler.address

h1:8030

yarn.resourcemanager.resource-tracker.address

h1:8031

yarn.resourcemanager.admin.address

h1:8033

yarn.resourcemanager.webapp.address

h1:8088

mapred-site.xml

mapreduce.framework.name

yarn

mapreduce.jobhistory.address

h1:10020

mapreduce.jobhistory.webapp.address

h1:19888

hdfs-site.xml

注意:name和data文件夾需事先建好

dfs.namenode,secondary.http-address

h1:9001

dfs.namenode.name.dir

file:/home/grid/hadoop-2.7.1/name

dfs.datanode.data.dir

file:/home/grid/hadoop-2.7.1/data

dfs.replication

1

dfs.webhdfs.enabled

true

core-site.xml

注意:tmp文件夾需事先建好

fs.default.name

hdfs://h1:9000

io.file.buffer.size

131072

hadoop.tmp.dir

file:home/grid/hadoop-2.7.1/tmp

Abase?for?other?temporary?directories

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容