hdfs完全搭建

基本準備工作:

1、安裝虛擬機軟件 VMwareWorkStation

2、安裝系統(tǒng)centOS

3、準備hdfs相關(guān)配置:

jdk(建議完全卸載centos自帶的openJDK,選擇自己需要的版本)

Hadoop(建議使用2.7.1)和eclipse調(diào)試使用不錯,當然其他版本也沒有問題

4、jdk和Hadoop解壓路徑

(建議放在usr/local下)

5、修改配置文件

/etc/profile

如下內(nèi)容:

JAVA_HOME=/usr/jdk1.8.0_101

HADOOP_HOME=/usr/local/hadoop-1.2.1

CLASSPATH=.:$JAVA_HOME/lib

PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

export HADOOP_HOME

export JAVA_HOME

export CLASSPATH

export PATH

6、修改Hadoop配置文件:

core-site.xml

hdfs-site.xml

以上兩個配置文件的修改內(nèi)容參照官網(wǎng)

http://hadoop.apache.org/docs/r1.2.1/single_node_setup.html

7、配置namenode到datannode的無秘連接

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

方法如下:

1、namenode先進行秘鑰生成,然后保存到日志中(相當于執(zhí)行上面兩行命令)

2、datanode做上面相同的操作

3、把namenode的id_dsa文件復制到datanode上某一目錄

4、把id_dsa文件內(nèi)容復制到datanode的authorized_keys文件中(3步驟的目的是為了完成4)

5.檢測是否實現(xiàn)無密碼連接 ?在namenode ssh datanode

8、將namenode進行格式化操作

(需要在Hadoop/bin下執(zhí)行如下命令:./hadoop namenode -format)

9.start-all.sh或者start-dfs.sh(前者會把mapreduce都啟動了)

10.測試是否啟動:可以在某臺電腦用JPS命令查看

也可以在namenode機器上使用如下命令 ? hdfs dfsadmin -report

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容