2021-05-02

bin/spark-submit
--classcom.huawei.cluster\
--masteryarn-cluster\
--driver-cores2\
--driver-memory30G\
--confspark.shuffle.service.ennabled=true

--confspark.memory.storageFraction=0.30 \
--confspark.memory.fraction=0.7 \
--confspark.default.parallelism=2800\
--confspark.sql.shuffle.partitions1=1400\
--confspark.yarn.executor.memeoryOverhead=4096\
--executor-memory30g \
--executor-cores8 \
--num-executors20\

  • 默認(rèn) : 55開(kāi),預(yù)留300M
    JVM-Memory =
    Spark Memory( Storage Memory(用于緩存廣播變量等) 50% + Execution Memory(用戶緩存Shuffle的中間數(shù)據(jù))50%) 60% + User Memory( 用戶自己維護(hù)數(shù)據(jù)結(jié)構(gòu) ) 40% + (預(yù)留300M)

  • Storage Memory : 用于緩存 廣播變量, 內(nèi)存. persist 側(cè)重存

  • Execution Memory : 用于shuffle的中間數(shù)據(jù)側(cè)重網(wǎng)絡(luò)分發(fā)和計(jì)算

參數(shù)設(shè)置
-- confspark.memory.fraction=0.7
設(shè)置Spark Memory內(nèi)存

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容