會導(dǎo)致執(zhí)行該job時候集群資源不足，導(dǎo)致執(zhí)行job結(jié)束也沒有分配足夠的資源，分配了部分Executor，該job就開始執(zhí)行task，應(yīng)該是task的調(diào)度線程和Executor資源申請是異步的；如果想等待申請完所有的資源再執(zhí)行job的：需要將spark.scheduler.maxRegisteredResourcesWaitingTime設(shè)置的很大；spark.scheduler.minRegisteredResourcesRatio 設(shè)置為1，但是應(yīng)該結(jié)合實際考慮否則很容易出現(xiàn)長時間分配不到資源，job一直不能運行的情況。
Spark--為什么Spark Application在沒有獲得足夠的資源，job就開始執(zhí)行了，可能會導(dǎo)致什么什么問題發(fā)生?
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。
相關(guān)閱讀更多精彩內(nèi)容
- Apache Spark 是專為大規(guī)模數(shù)據(jù)處理而設(shè)計的快速通用的計算引擎。Spark是UC Berkeley AM...
- YarnYarn產(chǎn)生背景：Yarn直接來自于MR1.0MR1.0 問題：采用的是master slave結(jié)構(gòu)，ma...
- 為什么需要調(diào)優(yōu) 在大數(shù)據(jù)計算領(lǐng)域，Spark已經(jīng)成為了越來越流行、越來越受歡迎的計算平臺之一。然而，通過Spark...
- 前言 在大數(shù)據(jù)計算領(lǐng)域，Spark已經(jīng)成為了越來越流行、越來越受歡迎的計算平臺之一。Spark的功能涵蓋了大數(shù)據(jù)領(lǐng)...
