yarn執(zhí)行流程
1.client請求 Resource Manager;
2.Resource Manager計算出容器占多大資源和在哪臺機器上啟動 NodeManager;
2.?Resource Manager和Node Manager建立通信;
3.給定資源創(chuàng)建容器;
3.Node Manager給?Resource Manager返回cpu,內存等信息;
4.
講義精簡版:
? ??步驟1:用戶將應用程序提交到 ResourceManager 上;
? ?步驟2:ResourceManager為應用程序 ApplicationMaster 申請資源,并與某個 NodeManager 通信啟動第一個 Container,以啟動? ? ? ?ApplicationMaster;
? ?步驟3:ApplicationMaster 與 ResourceManager 注冊進行通信,為內部要執(zhí)行的任務申請資源,一旦得到資源后,將于 NodeManager 通信,以啟動對應的 Task;
? ?步驟4:所有任務運行完成后,ApplicationMaster 向 ResourceManager 注銷,整個應用程序運行結束。
JobHistoryServer 的啟動命令
? ?mr-jobhistory-daemon.sh start historyserver