spark standalone模式

standalone模式是spark自己的資源調度框架,由master和worker組成.
master有一個workerinfo的數(shù)組,里邊有worker的基本信息,包括core數(shù),內存,最后通信時間
master運行一個過濾的定時任務,按照worker的通信時間進行過濾,把斷開的worker移除
worker啟動后向master發(fā)送注冊消息,包含自己的基本信息,每次心跳里邊是沒有當前的資源負載情況的,
因為spark是一個粗粒度的資源管理方式,master會記錄每次執(zhí)行任務時向worker申請了多少資源,當任務結束后,在加上這部分資源就可以了.

?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成，瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發(fā)布，文章內容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

相關閱讀更多精彩內容

友情鏈接更多精彩內容