hadoop jar 的運行過程

1 client端請求任務之后,與resourcemanager通信提交任務。
2 resourcemanager會有一個響應,分配一個jobid 以及一個hdfs目錄
.../staging/jobid
3 client將jar包上傳wc.jar job.xml 以及分片的信息到hdfs目錄
4 client通知resourcemanager 上傳完成
5 recourcemanager 根據(jù)分片的信息創(chuàng)建任務(每一個分片一個任務),并添 加到一個任務隊列
6 resourcemanager 在隨機一個nodemanager啟動一個mrappmaster.
7 mrappmaster與mrappmaster通信,取出任務,申請資源
8 resourcemanager 返回資源信息等mrappmaster中解析收到的信息在解析文件中指定的nodemanager中創(chuàng)建容器(存放資源)建立maptask
9 循環(huán)56步,直到任務隊列為空。
10 mrappmaster是監(jiān)控task的,maptask與mrappmaster通信.上報task狀態(tài)
11 所有map task 執(zhí)行完成,與resourcemanager通信,map完成計算釋放資源,并且申請運行reduce task 的資源
12 resourcemanager為reduce task 分配容器資源。
13 nodemanager 中的reduce task也需要與mrappmaster通信
14 reduce task將結(jié)果寫入到hdfs中。
注意:通常情況下一個nodemanager和一個datanode是在同一個節(jié)點上面

最后編輯于
?著作權歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容