yarn

yarn執(zhí)行流程

1.client請求 Resource Manager;

2.Resource Manager計算出容器占多大資源和在哪臺機器上啟動 NodeManager;

2.?Resource Manager和Node Manager建立通信;

3.給定資源創(chuàng)建容器;

3.Node Manager給?Resource Manager返回cpu,內存等信息;

4.

講義精簡版:

? ??步驟1:用戶將應用程序提交到 ResourceManager 上;

? ?步驟2:ResourceManager為應用程序 ApplicationMaster 申請資源,并與某個 NodeManager 通信啟動第一個 Container,以啟動? ? ? ?ApplicationMaster;

? ?步驟3:ApplicationMaster 與 ResourceManager 注冊進行通信,為內部要執(zhí)行的任務申請資源,一旦得到資源后,將于 NodeManager 通信,以啟動對應的 Task;

? ?步驟4:所有任務運行完成后,ApplicationMaster 向 ResourceManager 注銷,整個應用程序運行結束。

JobHistoryServer 的啟動命令

? ?mr-jobhistory-daemon.sh start historyserver

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

友情鏈接更多精彩內容