java -jar運(yùn)行MR程序

1、一般的做法都是使用hadoop jar的形式提交任務(wù)。
vi bin/hadoop.jar

image.png

其實(shí)內(nèi)部調(diào)用了RunJar.java 用來讀取hadoop環(huán)境參數(shù),配置文件等

2、現(xiàn)在想用單純的java -jar來提交MR任務(wù)到y(tǒng)arn也是可行的

3、打個(gè)胖包。


image.png

4、java -jar wc-fat.jar /day08-wc/input/wc.txt /day08-wc/output3
報(bào)錯(cuò):

image.png

胖包里面沒有配置文件。
把輸入輸出文件當(dāng)成local模式的了。

5、下載集群的配置文件到本地Eclipse src目錄下。

image.png

6、指定本程序的jar包所在的本地路徑

//job.setJarByClass(WordcountDriver.class);
   job.setJar("/home/hadoop/lib/wc-fat.jar");

再次執(zhí)行即可:
java -jar wc-fat.jar /day08-wc/input/wc.txt /day08-wc/output4

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 首先,我們在使用前先看看HDFS是什麼?這將有助于我們是以后的運(yùn)維使用和故障排除思路的獲得。 HDFS采用mast...
    W_Bousquet閱讀 4,472評論 0 2
  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理,服務(wù)發(fā)現(xiàn),斷路器,智...
    卡卡羅2017閱讀 136,680評論 19 139
  • 目的這篇教程從用戶的角度出發(fā),全面地介紹了Hadoop Map/Reduce框架的各個(gè)方面。先決條件請先確認(rèn)Had...
    SeanC52111閱讀 1,841評論 0 1
  • Spring Boot 參考指南 介紹 轉(zhuǎn)載自:https://www.gitbook.com/book/qbgb...
    毛宇鵬閱讀 47,284評論 6 342
  • 01 最近在網(wǎng)易翻遍了小莫電臺的所有音頻,有這樣一期,講的是一個(gè)繪本,主題是關(guān)于勇氣。 很喜歡那些小句子,所以也想...
    不不不不不不熱閱讀 903評論 3 2

友情鏈接更多精彩內(nèi)容