Spark調優(yōu)

Spark參數(shù)調優(yōu)：

  • num-executors

    建議：一般設置50~100左右

  • executors-memory

    建議:4G8G，不超過整個集群資源的1/31/2

  • executor-cores

    每個Excutor進程的CPU core數(shù)量，決定了Excutor執(zhí)行task的線程的能力。

    建議：2~4個較為合適，num-executors*executor-cores 不要超過cpu core的1/3~1/2左右

  • driver-memory

    建議：一般1G就夠，但是如果有collect算子收集，適當調大

  • spark.default.parallelism
    task數(shù)量即分區(qū)度，并行度?？梢栽O置500~1000，一般為num-executors*executor-cores的

    2~3倍。

  • spark.storage.memoryFraction

    默認是0.6，持久化操作多，設置大一些

  • spark.shuffle.memoryFraction

    默認是0.2，shuffle操作多，設置大一些

?著作權歸作者所有,轉載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

友情鏈接更多精彩內(nèi)容