1. 在SparkContext實例化的時候調用createTaskScheduler來創(chuàng)建TaskSchedulerImpl和SparkDeploySchedulerBackend
2. 同時在SparkContext實例化的時候會調用TaskSchedulerImpl的start,在start方法中會調用SparkDeploySchedulerBackend的start,在該start方法中會創(chuàng)建AppClient對象并調用AppClient對象的start方法
3. 在AppClient對象的start方法中會創(chuàng)建ClientEndpoint,在創(chuàng)建ClientEndpoint會傳入Command來指定具體為當前應用程序啟動的Executor進行的入口類的名稱為CoarseGrainedExecutorBackend
4. 然后ClientEndpoint啟動并通過tryRegisterMaster來注冊當前的應用
5. 程序到Master中,Master接受到注冊信息后如何可以運行程序,則會為該程序生產Job ID并通過schedule來分配計算資源,具體計算資源的分配是通過應用程序的運行方式、Memory、cores等配置信息來決定的
6. 最后Master會發(fā)送指令給Worker,Worker中為當前應用程序分配計算資源時會首先分配ExecutorRunner,ExecutorRunner內部會通過Thread的方式構建ProcessBuilder來啟動另外一個JVM進程,這個JVM進程啟動時候加載的main方法所在的類的名稱就是在創(chuàng)建ClientEndpoint時傳入的Command來指定具體名稱為CoarseGrainedExecutorBackend的類,
7. 此時JVM在通過ProcessBuilder啟動的時候獲得了CoarseGrainedExecutorBackend后加載并調用其中的main方法,在main方法中會實例化CoarseGrainedExecutorBackend本身這個消息循環(huán)體。
8. 而CoarseGrainedExecutorBackend在實例化的時候會通過回調onStart向DriverEndpoint發(fā)送RegisterExecutor來注冊當前的CoarseGrainedExecutorBackend,此時DriverEndpoint收到到該注冊信息并保存在了SparkDeploySchedulerBackend實例的內存數據結構中,這樣Driver就獲得了計算資源!