2008年美國每月最低氣溫MapReduce大數(shù)據(jù)分析

2008年美國每個月最低氣溫分析

1.點擊https://pan.baidu.com/s/1c1MPnSs下載2008.txt文件(這里是將2008.txt文件放在E盤中,跟Hadoop文件同處于一個盤)

2.在命令提示符下 Hadoop-2.7.3\sbin 中輸入 start-all.cmd 開啟Hadoop服務(wù)

3.準(zhǔn)備輸入、輸出文件夾,在HDFS文件系統(tǒng)中創(chuàng)建。

Hadoop中所有的數(shù)據(jù)都必須放在HDFS文件系統(tǒng)中進行處理。

命令提示符中 Hadoop-2.7.3\sbin 下輸入 hadoop fs -mkdir hdfs://localhost:9000/test/2008input(創(chuàng)建文件夾,localhost:9000為hdfs的系統(tǒng)目錄,test和2008input是現(xiàn)在要創(chuàng)建的文件名,具體命名根據(jù)自己的需要)

輸入 hadoop fs -ls hdfs://localhost:9000/test/ 查看文件是否創(chuàng)建成功

4.上傳需要統(tǒng)計的 t1 文件到 hdfs://localhost:9000/test/input1 上

hadoop fs -put E:\2008.txt hdfs://localhost:9000/test/2008input

5.下載https://pan.baidu.com/s/1o87RVXS中的mintemp.jar到E盤中。

mintemp.jar是Java編寫的一個MapReduce計算最低氣溫的程序

6. 在jar包所在的路徑,執(zhí)行以下命令 hadoop jar mintemp.jar hdfs://localhost:9000/test/2008input hdfs://localhost:9000/test/2008output,運行命令之后,顯示如下

7.hadoop fs -ls hdfs://localhost:9000/test/2008output查看結(jié)果文件

8.hadoop fs -cat hdfs://localhost:9000/test/2008output/patr-r-00000查看輸出結(jié)果

9.hadoop fs -get hdfs://localhost:9000/test/2008output/patr-r-00000 下載計算結(jié)果到本地

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容