3.spark運(yùn)行模式

spark支持的運(yùn)行模式:本地模式、本地集群模式、standalone模式、yarn模式及mesos模式。

spark運(yùn)行模式

本地模式

local、local[N]或local[N,maxRetries]。主要用于代碼調(diào)試和跟蹤。不具備容錯(cuò)能力,不適用于生產(chǎn)環(huán)境。

本地模式只有Driver,沒(méi)有Master和Worker。執(zhí)行任務(wù)的Executor與Driver在同一個(gè)JVM進(jìn)程中。

本地集群模式

local-cluster[N,cores,memory]。也主要用于代碼調(diào)試和測(cè)試,是源碼學(xué)習(xí)常用的模式。不具備容錯(cuò)能力,不能用于生產(chǎn)環(huán)境。

Driver、Master與Worker運(yùn)行在同一個(gè)JVM進(jìn)程中。每個(gè)Worker可啟動(dòng)多個(gè)Executor,每個(gè)Executor都是一個(gè)JVM進(jìn)程。

Standalone模式

spark://。具備容錯(cuò)能力并且支持分布式部署運(yùn)行。

Driver在集群之外,可以是任意的客戶端程序。Master部署于單獨(dú)的進(jìn)程,甚至在單獨(dú)的機(jī)器上,可以有多個(gè),但只能有一個(gè)處于激活狀態(tài)。Worker部署于單獨(dú)的進(jìn)程,推薦在單獨(dú)的機(jī)器上部署。

YARN模式

yarn模式是將任務(wù)管理與資源調(diào)度功能交給YARN框架進(jìn)行處理的模式。分為yarn-client和yarn-cluster兩種模式。

yarn-client適用于交互、調(diào)試,希望立即看到應(yīng)用的輸出;yarn-cluster適用于生產(chǎn)環(huán)境。

yarn-cluster模式下,driver運(yùn)行在AM(ApplicationMaster)中,負(fù)責(zé)向YARN申請(qǐng)資源并監(jiān)控作業(yè)的運(yùn)行狀況。當(dāng)用戶提交完作業(yè)后,就可以關(guān)閉client,作業(yè)會(huì)繼續(xù)在YARN上運(yùn)行。

yarn-cluster模式不適合運(yùn)行交互類型的作業(yè)。而在yarn-client模式下,AM(ApplicationMaster)僅僅向YARN請(qǐng)求executor,client會(huì)和請(qǐng)求的executor通信來(lái)調(diào)度工作,client不能離開(kāi)。

yarn-client模式
yarn-cluster模式

Mesos模式

運(yùn)行模式類似于YARN,分為client和cluster兩種模式。資源調(diào)度器分為粗粒度(默認(rèn))和細(xì)粒度(不推薦)。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 1.1、 分配更多資源 1.1.1、分配哪些資源? Executor的數(shù)量 每個(gè)Executor所能分配的CPU數(shù)...
    miss幸運(yùn)閱讀 3,283評(píng)論 3 15
  • 1、 性能調(diào)優(yōu) 1.1、 分配更多資源 1.1.1、分配哪些資源? Executor的數(shù)量 每個(gè)Executor所...
    Frank_8942閱讀 4,844評(píng)論 2 36
  • Apache Spark是一個(gè)圍繞速度、易用性和復(fù)雜分析構(gòu)建的大數(shù)據(jù)處理框架,最初在2009年由加州大學(xué)伯克利分校...
    達(dá)微閱讀 663評(píng)論 0 0
  • Apache Spark是一個(gè)圍繞速度、易用性和復(fù)雜分析構(gòu)建的大數(shù)據(jù)處理框架,最初在2009年由加州大學(xué)伯克利分校...
    三萬(wàn)_chenbing閱讀 723評(píng)論 0 5
  • Apache Spark 是專為大規(guī)模數(shù)據(jù)處理而設(shè)計(jì)的快速通用的計(jì)算引擎。Spark是UC Berkeley AM...
    大佛愛(ài)讀書閱讀 2,980評(píng)論 0 20

友情鏈接更多精彩內(nèi)容