在eclipse 中構(gòu)建hadoop

1.添加hadoop插件
  • hadoop-eclipse-plugin-2.7.0.jar放入eclipse\plugins

hadoop-eclipse-plugin-2.7.0.jar 下載鏈接:https://pan.baidu.com/s/194y5Qli83YBPzKoAtGsvOA 密碼:5b6t)

2.配置hadoop主目錄
  • 重啟eclipse后,在Preferences中找到Hadoop Map/Reduce,設(shè)置安裝目錄

[圖片上傳失敗...(image-185f56-1527909635757)]

3.配置插件
  • 打開Window ->Perspective -> open perspective -> other,打開Map/Reduce

注: 如果沒看到Map/reduce的界面出來,就試試window -> show view -> other

右鍵新的hadoop連接

[圖片上傳失敗...(image-25c732-1527909635757)]

[圖片上傳失敗...(image-36f587-1527909635757)]

Host 那里寫hadoop主節(jié)點(diǎn)的ip,port 為9001

如果連接成功,在project explore 的DFS locations下會(huì)展現(xiàn)hdfs集群中的文件
[圖片上傳失敗...(image-346be-1527909635757)]

4.配置本地開發(fā)環(huán)境
  • 復(fù)制hadoop.dll和winutils.exe到本地hadoop目錄的bin文件夾中
  • 復(fù)制hadoop.dll到C:\Windows\System32目錄

hadoop.dll,winutils.exe 在hadoop-common-2.7.x-bin-master目錄的bin文件夾下。

[圖片上傳失敗...(image-c98e4-1527909635757)]

5.配置環(huán)境變量
  • HADOOP_HOME F:\software\hadoop-common-2.7.x-bin-master
  • path添加%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin
6.加入依賴jar 包

編寫pom.xml

兩大核心依賴

  • hadoop-common
  • hadoop-hdfs
<properties>
        <org.apache.hadoop.version>2.7.2</org.apache.hadoop.version>
</properties>
<dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>${org.apache.hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>${org.apache.hadoop.version}</version>
        </dependency>
</dependencies>


-- 完!


荷蘭花卉小鎮(zhèn)
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容