如果你對linux的操作不是很熟悉,或者你只是想在windows上測試以下關于hadoop的接口。在windows上安裝搭建hadoop偽分布模式是除了hadoop單機模式的另外一種不錯的選擇
1.下載hadoop
去hadoop官網(wǎng),下載hadoop,選擇一個適合你的版本。下載后確認一下,在你下載的壓縮包的程序內(nèi)部,在sbin和bin的目錄下是否有.cmd結尾的文件。接下來就是和普通的linux上搭建的hadoop偽分布式過程一樣。注意在路徑的寫法上,要將\改為/,還要在盤符的前面加一個/,如:/E:/opensource/hadoop-2.8.5/hadoop-2.8.5/name
2.下載對應的hadoop.dll和WINUTILS.EXE
winutils.exe對于windows的操作是不可少的,hadoop.dll同樣也如此。hadoop.dll和winutils.exe放在hadoop目錄的bin目錄下,下載地址:on github。你也許會發(fā)現(xiàn)沒有你的對應版本,不用著急,如果你對測試的版本要求不高的話,你可以選擇一個比較接近的版本放到你的文件夾中,我是這樣做的
3.啟動hadoop
對于啟動hadoop,為了避免有權限的問題,推薦將cmd用管理員權限進行運行。運行的是否會有一大堆窗口彈出,不要害怕就好,但是你不能關閉,每個窗口就是一個進程,關閉了就會出現(xiàn)錯誤。在窗口穩(wěn)定后你就可以在50070看到你的hdfs情況報告了
4.對于windows上運行出現(xiàn)錯誤
出現(xiàn)錯誤不要慌,一般你需要做的就是百度,一般會在wiki百科里面有錯誤提示,如:https://wiki.apache.org/hadoop/WindowsProblems,錯誤還是說的比較清楚的
5.windows連接hdfs進行操作
推薦使用eclipse進行開發(fā),因為有hadoop2x-eclipse-plugin插件進行開發(fā),下載地址:on github
這個的話除了一些最新的eclipse會安不上的,大部分的eclipse沒有什么問題。安裝方法你直接放在eclipse的plugin文件夾中再重新啟動就好了
至于版本的話在,直接選擇下載地址里面的release里面的hadoop-eclipse-plugin-2.6.0.jar進行下載就好,筆者連接沒有出現(xiàn)什么問題
(1)打開eclipse,windows->perference,選擇Hadoop Map/Reduce,選擇你解壓hadoop-2.6.0的路徑,保存
(2)window->show view->other->MapReduce Tools->點擊Map/Reduce Location,點擊小象添加一個連接
(3)Location name隨意填寫,Host是你的集群中master的ip端口號是你在配置文件中配置的端口號。配置好后,你就可以看見你的hdfs文件系統(tǒng)。