Hadoop學習筆記（MR程序的幾種提交運行模式）

本地模型運行

  1. 在windows的eclipse里面直接運行main方法，就會將job提交給本地執(zhí)行器localjobrunner執(zhí)行
    ----輸入輸出數(shù)據(jù)可以放在本地路徑下（c:/wc/srcdata/）
    ----輸入輸出數(shù)據(jù)也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata)
  1. 在linux的eclipse里面直接運行main方法，但是不要添加yarn相關的配置，也會提交給localjobrunner執(zhí)行
    ----輸入輸出數(shù)據(jù)可以放在本地路徑下（/home/hadoop/wc/srcdata/）
    ----輸入輸出數(shù)據(jù)也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata)

集群模式運行

  1. 將工程打成jar包，上傳到服務器，然后用hadoop命令提交 hadoop jar wc.jar cn.itcast.hadoop.mr.wordcount.WCRunner

  2. 在linux的eclipse中直接運行main方法，也可以提交到集群中去運行，但是，必須采取以下措施：
    ----在工程src目錄下加入 mapred-site.xml 和 yarn-site.xml
    ----將工程打成jar包(wc.jar)，同時在main方法中添加一個conf的配置參數(shù)　conf.set("mapreduce.job.jar","wc.jar");

  3. 在windows的eclipse中直接運行main方法，也可以提交給集群中運行，但是因為平臺不兼容，需要做很多的設置修改
    ----要在windows中存放一份hadoop的安裝包（解壓好的）
    ----要將其中的lib和bin目錄替換成根據(jù)你的windows版本重新編譯出的文件
    ----再要配置系統(tǒng)環(huán)境變量 HADOOP_HOME 和 PATH
    ----修改YarnRunner這個類的源碼

最后編輯于 ：
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成，瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發(fā)布，文章內容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

相關閱讀更多精彩內容

  • 首先，我們在使用前先看看HDFS是什麼？這將有助于我們是以后的運維使用和故障排除思路的獲得。 HDFS采用mast...
    W_Bousquet閱讀 4,470評論 0贊 2
  • Spring Cloud為開發(fā)人員提供了快速構建分布式系統(tǒng)中一些常見模式的工具（例如配置管理，服務發(fā)現(xiàn)，斷路器，智...
    卡卡羅2017閱讀 136,586評論 19贊 139
  • hadoop是什么？HDFS與MapReduceHive：數(shù)據(jù)倉庫，在HDFS之上，后臺執(zhí)行，幫你執(zhí)行。faceb...
    Babus閱讀 2,657評論 0贊 5
  • Hadoop的編程可以是在Linux環(huán)境或Winows環(huán)境中，在此以Windows環(huán)境為示例，以Eclipse工具...
    歡醉閱讀 1,574評論 0贊 28
  • 春天，藏在衣柜的衣服都該該拿出來了 簡單的白T+緊身牛仔褲，時髦又大氣。 春季氣溫不穩(wěn)定，備一款呢料的外套搭配褲裝...
    鎖定過臺風閱讀 300評論 0贊 1

友情鏈接更多精彩內容