hadoop搭建完全分布式

1.準(zhǔn)備環(huán)境

1臺(tái)namenode

3臺(tái)datenode

靜態(tài)IP地址分別為,(若是虛擬機(jī),注意mac地址要不同)

192.168.204.3?? node1

192.168.204.4? node2

192.168.204.5? node3

192.168.204.6?? node4

為每臺(tái)機(jī)器配置hosts



#vi /etc/hosts


2.分工

namenode為node1

datenode為node2&secondary? namenode

datenode為node3

datenode為node4

3.時(shí)間同步(全部機(jī)器均要運(yùn)行)

yum? install ntp -y

ntpdate ntp1.aliyun.com


4.node1設(shè)置免密鑰登錄其他機(jī)器

????? (1)在/root/.shh/目錄生成公鑰和私鑰,每個(gè)機(jī)器均運(yùn)行#ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa


????? (2) 將node1的將 /tmp/id_dsa.pub 上面的公鑰文件追加到/root/.ssh/authorized_keys這個(gè)文件上面,做一個(gè)免密鑰

???? #cat /tmp/id_dsa.pub >> /root/.ssh/authorized_keys

然后在node1機(jī)器上shh node1,如果不需要輸

入密碼,則成功


再把/root/.ssh/authorized_keys這個(gè)文件,拷貝到其他機(jī)器上,

#scp ? /root/.ssh/id_dsa.pub ? node2:/tmp/

#scp ? /root/.ssh/id_dsa.pub ? node3:/tmp/

#scp ? /root/.ssh/id_dsa.pub ? node4:/tmp/


?? (3)(除了node1每個(gè)機(jī)器都要)把拷貝過(guò)來(lái)的id_dsa.pub 追加到/root/.ssh/authorized_keys


?? (4)在node1上ssh其他機(jī)器,不需要輸入密碼,則成

4.為每個(gè)機(jī)器裝上jdk

詳細(xì),請(qǐng)自行百度


添加環(huán)境變量

#vi /etc/profile

在最后追加


5.為node1裝上tengine

詳細(xì),請(qǐng)查看鏈接Linux下tengine/nginx的安裝配置 - CSDN博客

6.為node1裝上hadoop,然后拷貝

(1)下載好hadoop-2.5.1

#tar-zxvf hadoop-2.5.1 -C /home? #解壓到制定目錄

(2)添加環(huán)境變量,hadoop所在目錄在/home/hadhadoop-2.5.1

#vi /etc/profile

在后面追加


(3)source /etc/profile?? #使/etc/profile里的配置立即生效


(4)輸入hdfs,和start,然后按tab鍵,看是否出現(xiàn),出現(xiàn)則成功


(5)修改配置文件

#cd /home/hadoop-2.5.1/etc/hadoop

#ls


a.修改hadoop-env.sh

#vi?? hadoop-env.sh

# echo ${JAVA_HOME}? #獲取目錄



找到這個(gè)

將# echo ${JAVA_HOME}? #獲取目錄替換圖上面的java_home


b.修改core-site.xml

#vi??? core-site.xml

添加屬性


c.修改hdfs-site.xml

#vi???hdfs-site.xml

d.指定secondnamenode

#vi?? masters


e.添加datenode

#vi? slaves



(7)刪掉hadoop的doc文件(無(wú)用)目的拷貝hadoop到其他機(jī)器速度快點(diǎn)

#vi -rf? home/hadoop-2.5.1/share/doc

(8)把hadoop拷貝到其他機(jī)器

#scp -r? home/hadoop-2.5.1 ? node2:/home/

(9)在node1格式化 namenode

#hdfs namenode?? -format


如果出現(xiàn)warn或fatal,就是出現(xiàn)錯(cuò)誤

(10)啟動(dòng)hdfs

#start-dfs.sh


(11)在瀏覽器輸入192.168.204.3:50070


(12)有錯(cuò)誤,請(qǐng)去/hadoop-2.5.1/logs看日志

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 1.Linux安裝前的配置 1.1.關(guān)閉防火墻 本站文檔是假定「服務(wù)器在防火墻以?xún)?nèi)」的前提下編纂的,在這個(gè)前提下...
    lao男孩閱讀 3,481評(píng)論 0 4
  • 看到題目有沒(méi)有一種高大上的感覺(jué)?毛線(xiàn),當(dāng)前是個(gè)人、是個(gè)公司都在說(shuō)自己搞大數(shù)據(jù),每天沒(méi)有幾個(gè)PB的數(shù)據(jù)入庫(kù),每天沒(méi)有...
    丁小晶的晶小丁閱讀 4,648評(píng)論 0 50
  • 1 目的將hadoop 2.7.1 安裝到 166、167、168 三臺(tái)機(jī)器上2 提供環(huán)境練習(xí)環(huán)境192.168....
    灼灼2015閱讀 3,639評(píng)論 4 40
  • 一、Spark集群部署 1、軟件版本 OS版本:Ubuntu 14.04 Hadoop版本:Hadoop 2.6....
    ZyZhu閱讀 1,293評(píng)論 1 2
  • 版權(quán)聲明:本文為博主原創(chuàng)文章,未經(jīng)博主允許不得轉(zhuǎn)載。 目錄-[-]1 先決條件2 實(shí)驗(yàn)環(huán)境搭建 21 準(zhǔn)備工...
    三三At你閱讀 939評(píng)論 0 3

友情鏈接更多精彩內(nèi)容