spark相關(guān)術(shù)語
Application
指的是用戶編寫的Spark應(yīng)用程序，包含了一個Driver 功能的代碼和分布在集群中多個節(jié)點上運行的Executor代碼；Driver
Spark中的Driver即運行上述Application的main()函數(shù)并且創(chuàng)建SparkContext，其中創(chuàng)建SparkContext的目的是為了準備Spark應(yīng)用程序的運行環(huán)境。在Spark中由SparkContext負責(zé)和ClusterManager通信，進行資源的申請、任務(wù)的分配和監(jiān)控等；當(dāng)Executor部分運行完畢后，Driver負責(zé)將SparkContext關(guān)閉。通常用SparkContext代表Driver；Executor
Application運行在Worker 節(jié)點上的一個進程，該進程負責(zé)運行Task，并且負責(zé)將數(shù)據(jù)存在內(nèi)存或者磁盤上，每個Application都有各自獨立的一批Executor。Cluster Manager
指的是在集群上獲取資源的外部服務(wù)，目前有3種方式Worker
集群中任何可以運行Application代碼的節(jié)點。Job
包含多個Task組成的并行計算，往往由Spark Action催生，一個JOB包含多個RDD及作用于相應(yīng)RDD上的各種Operation；stage
每個Job會被拆分很多組Task，每組任務(wù)被稱為Stage，也可稱TaskSet，一個作業(yè)分為多個階段；-
Task
被送到某個Executor上的工作任務(wù)；
111609254102564.gif
Spark集群模式架構(gòu)
上圖中，Spark集群Cluster Manager目前支持如下三種模式：
1.Standalone模式
Standalone模式是Spark內(nèi)部默認實現(xiàn)的一種集群管理模式，這種模式是通過集群中的Master來統(tǒng)一管理資源，而與Master進行資源請求協(xié)商的是Driver內(nèi)部的StandaloneSchedulerBackend（實際上是其內(nèi)部的StandaloneAppClient真正與Master通信），后面會詳細說明。
2.YARN模式
YARN模式下，可以將資源的管理統(tǒng)一交給YARN集群的ResourceManager去管理，選擇這種模式，可以更大限度的適應(yīng)企業(yè)內(nèi)部已有的技術(shù)棧，如果企業(yè)內(nèi)部已經(jīng)在使用Hadoop技術(shù)構(gòu)建大數(shù)據(jù)處理平臺。
3.Mesos模式
隨著Apache Mesos的不斷成熟，一些企業(yè)已經(jīng)在嘗試使用Mesos構(gòu)建數(shù)據(jù)中心的操作系統(tǒng)（DCOS），Spark構(gòu)建在Mesos之上，能夠支持細粒度、粗粒度的資源調(diào)度策略（Mesos的優(yōu)勢），也可以更好地適應(yīng)企業(yè)內(nèi)部已有技術(shù)棧。
1.基于standalone模式下的spark架構(gòu)
1.1 角色介紹
- Client：客戶端進程，負責(zé)提交作業(yè)到Master。
- Master：Standalone模式中主控節(jié)點，負責(zé)接收Client提交的作業(yè)，管理Worker，并命令Worker啟動Driver和Executor。
- Worker：Standalone模式中slave節(jié)點上的守護進程，負責(zé)管理本節(jié)點的資源，定期向Master匯報心跳，接收Master的命令，啟動Driver和Executor。
- Driver： 一個Spark作業(yè)運行時包括一個Driver進程，也是作業(yè)的主進程，負責(zé)作業(yè)的解析、生成Stage并調(diào)度Task到Executor上。包括DAGScheduler，TaskScheduler。
- Executor：即真正執(zhí)行作業(yè)的地方，一個集群一般包含多個Executor，每個Executor接收Driver的命令Launch Task，一個Executor可以執(zhí)行一到多個Task。
1.2作業(yè)相關(guān)的名詞
- Stage：一個Spark作業(yè)一般包含一到多個Stage。
- Task：一個Stage包含一到多個Task，通過多個Task實現(xiàn)并行運行的功能。
- DAGScheduler： 實現(xiàn)將Spark作業(yè)分解成一到多個Stage，每個Stage根據(jù)RDD的Partition個數(shù)決定Task的個數(shù)，然后生成相應(yīng)的Task set放到TaskScheduler中。
- TaskScheduler：實現(xiàn)Task分配到Executor上執(zhí)行。
1.3 提交作業(yè)的方式
提交作業(yè)有兩種方式分別是：
- Driver運行在Worker上（作業(yè)的master，負責(zé)作業(yè)的解析、生成stage并調(diào)度task到，包含DAGScheduler）
- Driver運行在client上 。
方式1：Driver運行在Worker上
方式2：Driver運行在Client上
