1 client端請求任務之后,與resourcemanager通信提交任務。
2 resourcemanager會有一個響應,分配一個jobid 以及一個hdfs目錄
.../staging/jobid
3 client將jar包上傳wc.jar job.xml 以及分片的信息到hdfs目錄
4 client通知resourcemanager 上傳完成
5 recourcemanager 根據(jù)分片的信息創(chuàng)建任務(每一個分片一個任務),并添 加到一個任務隊列
6 resourcemanager 在隨機一個nodemanager啟動一個mrappmaster.
7 mrappmaster與mrappmaster通信,取出任務,申請資源
8 resourcemanager 返回資源信息等mrappmaster中解析收到的信息在解析文件中指定的nodemanager中創(chuàng)建容器(存放資源)建立maptask
9 循環(huán)56步,直到任務隊列為空。
10 mrappmaster是監(jiān)控task的,maptask與mrappmaster通信.上報task狀態(tài)
11 所有map task 執(zhí)行完成,與resourcemanager通信,map完成計算釋放資源,并且申請運行reduce task 的資源
12 resourcemanager為reduce task 分配容器資源。
13 nodemanager 中的reduce task也需要與mrappmaster通信
14 reduce task將結(jié)果寫入到hdfs中。
注意:通常情況下一個nodemanager和一個datanode是在同一個節(jié)點上面
hadoop jar 的運行過程
最后編輯于 :
?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。
相關閱讀更多精彩內(nèi)容
- MapReduce框架結(jié)構## MapReduce是一個用于大規(guī)模數(shù)據(jù)處理的分布式計算模型MapReduce模型主...
- YarnYarn產(chǎn)生背景:Yarn直接來自于MR1.0MR1.0 問題:采用的是master slave結(jié)構,ma...
- 轉(zhuǎn)自:http://www.cnblogs.com/yangsy0915/p/5559969.html 市面上的h...