eclipse中搭建hadoop環(huán)境

PS: 之前裝的eclipse是oxygen的版本比較新,沒有找到合適的插件,這里選擇了2.5 的版本,配合Juno SR2版的eclipse是可以用的

IDE:Eclipse Java EE IDE for Web Developers【Version: Juno Service Release 2】
下載win-64
下載Mac Cocoa x64
下載linux-x64
Hadoop版本:hadoop2.5.2

1.下載hadoop-2.5.2.tar.gz
鏈接: https://pan.baidu.com/s/1mhNnzSW 密碼: n3g5
2.下載hadoop-eclipse-plugin-2.5.2.jar
鏈接: https://pan.baidu.com/s/1jIiWqKu 密碼: jn2t
手動編譯其他版本插件教程

將hadoop-eclipse-plugin-2.5.2.jar復(fù)制到eclipse安裝目錄下的plugins目錄下,如: C:\Program Files\eclipse\j2ee-juno\eclipse\plugins
復(fù)制完成后重啟eclipse,選擇菜單window>>preferences,就會出現(xiàn)Hadoop Map/Reduce的插件如下圖所示。

這里選擇hadoop-2.5.2.tar.gz解壓出來的那個文件夾

選擇菜單window>>show view打開Map/Reduce的視圖,然后右鍵New Hadoop Location


配置主節(jié)點的主機(IP)和端口

HOST這里填的是master是主機名,你也可以直接填主節(jié)點的IP地址,如果本地hosts文件里面已經(jīng)配置了映射,就可以像我這么直接寫主機名

啟動集群之后,刷新DFS Location


查看的集群上的文件系統(tǒng)

可以先在集群上的文件系統(tǒng)上新建一個目錄,再刷新,可以看到文件系統(tǒng)是同步的

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • Hadoop的編程可以是在Linux環(huán)境或Winows環(huán)境中,在此以Windows環(huán)境為示例,以Eclipse工具...
    歡醉閱讀 1,572評論 0 28
  • hadoop是什么?HDFS與MapReduceHive:數(shù)據(jù)倉庫,在HDFS之上,后臺執(zhí)行,幫你執(zhí)行。faceb...
    Babus閱讀 2,641評論 0 5
  • Spring Boot 參考指南 介紹 轉(zhuǎn)載自:https://www.gitbook.com/book/qbgb...
    毛宇鵬閱讀 47,253評論 6 342
  • 看到題目有沒有一種高大上的感覺?毛線,當前是個人、是個公司都在說自己搞大數(shù)據(jù),每天沒有幾個PB的數(shù)據(jù)入庫,每天沒有...
    丁小晶的晶小丁閱讀 4,642評論 0 50
  • 相同的地域總能嗅出不同的氣息 趁年輕,多走一走、看一看、學(xué)一學(xué) 讓心學(xué)會呼吸和過濾 樹立正確的觀念,身心并行 心態(tài)...
    董懿檸閱讀 173評論 0 1

友情鏈接更多精彩內(nèi)容