1. 名詞解釋：
作業(yè)相關(guān)的名詞解釋
Application：Spark Application的概念和Hadoop MapReduce中的類似，指的是用戶編寫的Spark應(yīng)用程序，包含了一個(gè)Driver 功能的代碼和分布在集群中多個(gè)節(jié)點(diǎn)上運(yùn)行的Executor代碼
Driver：Spark中的Driver即運(yùn)行上述Application的main()函數(shù)并且創(chuàng)建SparkContext，其中創(chuàng)建SparkContext的目的是為了準(zhǔn)備Spark應(yīng)用程序的運(yùn)行環(huán)境。在Spark中由SparkContext負(fù)責(zé)和ClusterManager通信，進(jìn)行資源的申請(qǐng)、任務(wù)的分配和監(jiān)控等；當(dāng)Executor部分運(yùn)行完畢后，Driver負(fù)責(zé)將SparkContext關(guān)閉。通常用SparkContext代表Drive
Executor：Application運(yùn)行在Worker 節(jié)點(diǎn)上的一個(gè)進(jìn)程，該進(jìn)程負(fù)責(zé)運(yùn)行Task，并且負(fù)責(zé)將數(shù)據(jù)存在內(nèi)存或者磁盤上，每個(gè)Application都有各自獨(dú)立的一批Executor。在Spark on Yarn模式下，其進(jìn)程名稱為CoarseGrainedExecutorBackend，類似于Hadoop MapReduce中的YarnChild。一個(gè)CoarseGrainedExecutorBackend進(jìn)程有且僅有一個(gè)executor對(duì)象，它負(fù)責(zé)將Task包裝成taskRunner，并從線程池中抽取出一個(gè)空閑線程運(yùn)行Task。每個(gè)CoarseGrainedExecutorBackend能并行運(yùn)行Task的數(shù)量就取決于分配給它的CPU的個(gè)數(shù)了
-
Cluster Manager：指的是在集群上獲取資源的外部服務(wù)，目前有：
- Standalone：Spark原生的資源管理，由Master負(fù)責(zé)資源的分配
- Hadoop Yarn：由YARN中的ResourceManager負(fù)責(zé)資源的分配
Worker：集群中任何可以運(yùn)行 Application 代碼的節(jié)點(diǎn)，類似于 YARN 中的 NodeManager 節(jié)點(diǎn)。在 Standalone 模式中指的就是通過 Slave 文件配置的 Worker 節(jié)點(diǎn)，在 Spark on Yarn 模式中指的就是 NodeManager 節(jié)點(diǎn)
作業(yè)（Job）：包含多個(gè)Task組成的并行計(jì)算，往往由Spark Action催生，一個(gè)JOB包含多個(gè)RDD及作用于相應(yīng)RDD上的各種Operation
階段（Stage）：每個(gè)Job會(huì)被拆分很多組Task，每組任務(wù)被稱為Stage，也可稱TaskSet，一個(gè)作業(yè)分為多個(gè)階段
任務(wù)（Task）： 被送到某個(gè)Executor上的工作任務(wù)
提交作業(yè)有四種方式，分別是 Driver運(yùn)行在 Worker 上，Driver 運(yùn)行在客戶端，yarn client 模式和 yarn cluster 模式
2. Driver 運(yùn)行在 Worker 上的執(zhí)行流程
作業(yè)執(zhí)行流程描述：
客戶端提交作業(yè)給Master
Master讓一個(gè)Worker啟動(dòng)Driver，即SchedulerBackend。Worker創(chuàng)建一個(gè)DriverRunner線程，DriverRunner啟動(dòng)SchedulerBackend進(jìn)程。
另外Master還會(huì)讓其余Worker啟動(dòng)Exeuctor，即ExecutorBackend。Worker創(chuàng)建一個(gè)ExecutorRunner線程，ExecutorRunner會(huì)啟動(dòng)ExecutorBackend進(jìn)程。
ExecutorBackend啟動(dòng)后會(huì)向Driver的SchedulerBackend注冊(cè)。SchedulerBackend進(jìn)程中包含DAGScheduler，它會(huì)根據(jù)用戶程序，生成執(zhí)行計(jì)劃，并調(diào)度執(zhí)行。對(duì)于每個(gè)stage的task，都會(huì)被存放到TaskScheduler中，ExecutorBackend向SchedulerBackend匯報(bào)的時(shí)候把TaskScheduler中的task調(diào)度到ExecutorBackend執(zhí)行。
所有stage都完成后作業(yè)結(jié)束。
3. Driver 運(yùn)行在客戶端
作業(yè)執(zhí)行流程描述：
客戶端啟動(dòng)后直接運(yùn)行用戶程序，啟動(dòng)Driver相關(guān)的工作：DAGScheduler和BlockManagerMaster等。
客戶端的Driver向Master注冊(cè)。
Master還會(huì)讓W(xué)orker啟動(dòng)Exeuctor。Worker創(chuàng)建一個(gè)ExecutorRunner線程，ExecutorRunner會(huì)啟動(dòng)ExecutorBackend進(jìn)程。
ExecutorBackend啟動(dòng)后會(huì)向Driver的SchedulerBackend注冊(cè)。Driver的DAGScheduler解析作業(yè)并生成相應(yīng)的Stage，每個(gè)Stage包含的Task通過TaskScheduler分配給Executor執(zhí)行。
所有stage都完成后作業(yè)結(jié)束。
4. 基于 YARN 的 Spark 架構(gòu)與作業(yè)執(zhí)行流程
4.1 Yarn-Client 模式
Spark Yarn Client向YARN的ResourceManager申請(qǐng)啟動(dòng)Application Master。同時(shí)在SparkContent初始化中將創(chuàng)建DAGScheduler和TASKScheduler等，由于我們選擇的是Yarn-Client模式，程序會(huì)選擇YarnClientClusterScheduler和YarnClientSchedulerBackend；
ResourceManager收到請(qǐng)求后，在集群中選擇一個(gè)NodeManager，為該應(yīng)用程序分配第一個(gè)Container，要求它在這個(gè)Container中啟動(dòng)應(yīng)用程序的ApplicationMaster，與YARN-Cluster區(qū)別的是在該ApplicationMaster不運(yùn)行SparkContext，只與SparkContext進(jìn)行聯(lián)系進(jìn)行資源的分派；
Client中的SparkContext初始化完畢后，與ApplicationMaster建立通訊，向ResourceManager注冊(cè)，根據(jù)任務(wù)信息向ResourceManager申請(qǐng)資源（Container）；
一旦ApplicationMaster申請(qǐng)到資源（也就是Container）后，便與對(duì)應(yīng)的NodeManager通信，要求它在獲得的Container中啟動(dòng)啟動(dòng)CoarseGrainedExecutorBackend，CoarseGrainedExecutorBackend啟動(dòng)后會(huì)向Client中的SparkContext注冊(cè)并申請(qǐng)Task；
Client中的SparkContext分配Task給CoarseGrainedExecutorBackend執(zhí)行，CoarseGrainedExecutorBackend運(yùn)行Task并向Driver匯報(bào)運(yùn)行的狀態(tài)和進(jìn)度，以讓Client隨時(shí)掌握各個(gè)任務(wù)的運(yùn)行狀態(tài)，從而可以在任務(wù)失敗時(shí)重新啟動(dòng)任務(wù)；
應(yīng)用程序運(yùn)行完成后，Client的SparkContext向ResourceManager申請(qǐng)注銷并關(guān)閉自己。
4.2 YARN-Cluster 模式
在YARN-Cluster模式中，當(dāng)用戶向YARN中提交一個(gè)應(yīng)用程序后，YARN將分兩個(gè)階段運(yùn)行該應(yīng)用程序：第一個(gè)階段是把Spark的Driver作為一個(gè)ApplicationMaster在YARN集群中先啟動(dòng)；第二個(gè)階段是由ApplicationMaster創(chuàng)建應(yīng)用程序，然后為它向ResourceManager申請(qǐng)資源，并啟動(dòng)Executor來運(yùn)行Task，同時(shí)監(jiān)控它的整個(gè)運(yùn)行過程，直到運(yùn)行完成。
Spark Yarn Client向YARN中提交應(yīng)用程序，包括ApplicationMaster程序、啟動(dòng)ApplicationMaster的命令、需要在Executor中運(yùn)行的程序等；
ResourceManager收到請(qǐng)求后，在集群中選擇一個(gè)NodeManager，為該應(yīng)用程序分配第一個(gè)Container，要求它在這個(gè)Container中啟動(dòng)應(yīng)用程序的ApplicationMaster，其中ApplicationMaster進(jìn)行SparkContext等的初始化；
ApplicationMaster向ResourceManager注冊(cè)，這樣用戶可以直接通過ResourceManage查看應(yīng)用程序的運(yùn)行狀態(tài)，然后它將采用輪詢的方式通過RPC協(xié)議為各個(gè)任務(wù)申請(qǐng)資源，并監(jiān)控它們的運(yùn)行狀態(tài)直到運(yùn)行結(jié)束；
一旦ApplicationMaster申請(qǐng)到資源（也就是Container）后，便與對(duì)應(yīng)的NodeManager通信，要求它在獲得的Container中啟動(dòng)啟動(dòng)CoarseGrainedExecutorBackend，CoarseGrainedExecutorBackend啟動(dòng)后會(huì)向ApplicationMaster中的SparkContext注冊(cè)并申請(qǐng)Task。這一點(diǎn)和Standalone模式一樣，只不過SparkContext在Spark Application中初始化時(shí)，使用CoarseGrainedSchedulerBackend配合YarnClusterScheduler進(jìn)行任務(wù)的調(diào)度，其中YarnClusterScheduler只是對(duì)TaskSchedulerImpl的一個(gè)簡(jiǎn)單包裝，增加了對(duì)Executor的等待邏輯等；
ApplicationMaster中的SparkContext分配Task給CoarseGrainedExecutorBackend執(zhí)行，CoarseGrainedExecutorBackend運(yùn)行Task并向ApplicationMaster匯報(bào)運(yùn)行的狀態(tài)和進(jìn)度，以讓ApplicationMaster隨時(shí)掌握各個(gè)任務(wù)的運(yùn)行狀態(tài)，從而可以在任務(wù)失敗時(shí)重新啟動(dòng)任務(wù)；
應(yīng)用程序運(yùn)行完成后，ApplicationMaster向ResourceManager申請(qǐng)注銷并關(guān)閉自己。
4.3 YARN-Client 與 YARN-Cluster 區(qū)別
理解YARN-Client和YARN-Cluster深層次的區(qū)別之前先清楚一個(gè)概念：Application Master。在YARN中，每個(gè)Application實(shí)例都有一個(gè)ApplicationMaster進(jìn)程，它是Application啟動(dòng)的第一個(gè)容器。它負(fù)責(zé)和ResourceManager打交道并請(qǐng)求資源，獲取資源之后告訴NodeManager為其啟動(dòng)Container。從深層次的含義講YARN-Cluster和YARN-Client模式的區(qū)別其實(shí)就是ApplicationMaster進(jìn)程的區(qū)別。
YARN-Cluster模式下，Driver運(yùn)行在AM(Application Master)中，它負(fù)責(zé)向YARN申請(qǐng)資源，并監(jiān)督作業(yè)的運(yùn)行狀況。當(dāng)用戶提交了作業(yè)之后，就可以關(guān)掉Client，作業(yè)會(huì)繼續(xù)在YARN上運(yùn)行，因而YARN-Cluster模式不適合運(yùn)行交互類型的作業(yè)；
YARN-Client模式下，Application Master僅僅向YARN請(qǐng)求Executor，Client會(huì)和請(qǐng)求的Container通信來調(diào)度他們工作，也就是說Client不能離開。
