spark的Driver獲得資源的過程(standalone模式)

1. 在SparkContext實例化的時候調用createTaskScheduler來創(chuàng)建TaskSchedulerImpl和SparkDeploySchedulerBackend

2. 同時在SparkContext實例化的時候會調用TaskSchedulerImpl的start,在start方法中會調用SparkDeploySchedulerBackend的start,在該start方法中會創(chuàng)建AppClient對象并調用AppClient對象的start方法

3. 在AppClient對象的start方法中會創(chuàng)建ClientEndpoint,在創(chuàng)建ClientEndpoint會傳入Command來指定具體為當前應用程序啟動的Executor進行的入口類的名稱為CoarseGrainedExecutorBackend

4. 然后ClientEndpoint啟動并通過tryRegisterMaster來注冊當前的應用

5. 程序到Master中,Master接受到注冊信息后如何可以運行程序,則會為該程序生產Job ID并通過schedule來分配計算資源,具體計算資源的分配是通過應用程序的運行方式、Memory、cores等配置信息來決定的

6. 最后Master會發(fā)送指令給Worker,Worker中為當前應用程序分配計算資源時會首先分配ExecutorRunner,ExecutorRunner內部會通過Thread的方式構建ProcessBuilder來啟動另外一個JVM進程,這個JVM進程啟動時候加載的main方法所在的類的名稱就是在創(chuàng)建ClientEndpoint時傳入的Command來指定具體名稱為CoarseGrainedExecutorBackend的類,

7. 此時JVM在通過ProcessBuilder啟動的時候獲得了CoarseGrainedExecutorBackend后加載并調用其中的main方法,在main方法中會實例化CoarseGrainedExecutorBackend本身這個消息循環(huán)體。

8. 而CoarseGrainedExecutorBackend在實例化的時候會通過回調onStart向DriverEndpoint發(fā)送RegisterExecutor來注冊當前的CoarseGrainedExecutorBackend,此時DriverEndpoint收到到該注冊信息并保存在了SparkDeploySchedulerBackend實例的內存數據結構中,這樣Driver就獲得了計算資源!

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成,瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發(fā)布,文章內容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關閱讀更多精彩內容

  • Spring Cloud為開發(fā)人員提供了快速構建分布式系統(tǒng)中一些常見模式的工具(例如配置管理,服務發(fā)現,斷路器,智...
    卡卡羅2017閱讀 136,554評論 19 139
  • 1. Java基礎部分 基礎部分的順序:基本語法,類相關的語法,內部類的語法,繼承相關的語法,異常的語法,線程的語...
    子非魚_t_閱讀 34,688評論 18 399
  • (一)Java部分 1、列舉出JAVA中6個比較常用的包【天威誠信面試題】 【參考答案】 java.lang;ja...
    獨云閱讀 7,257評論 0 62
  • Android 自定義View的各種姿勢1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 179,030評論 25 709
  • 徒步遠方的意義 春天的旅行 一直從2013年的冬季就開始計劃,在2014年的春天要去徒步旅行。滿心期待著這次徒步時...
    獨角獸投資閱讀 1,038評論 0 1

友情鏈接更多精彩內容