ESS（EMR Remote Shuffle Service）是EMR在優(yōu)化計(jì)算引擎的Shuffle操作上，推出的擴(kuò)展組件。
背景信息
目前Shuffle方案缺點(diǎn)如下：
-
Shuffle Write在大數(shù)據(jù)量場(chǎng)景下會(huì)溢出，導(dǎo)致寫(xiě)放大。 -
Shuffle Read過(guò)程中有大量的網(wǎng)絡(luò)小包導(dǎo)致Connection reset問(wèn)題。 -
Shuffle Read過(guò)程中存在大量小數(shù)據(jù)量的IO請(qǐng)求和隨機(jī)讀，對(duì)磁盤(pán)和CPU造成高負(fù)載。 - 對(duì)于
M*N次的連接數(shù)，在M和N數(shù)千的規(guī)模下，作業(yè)基本無(wú)法完成。 -
NodeManager和Spark Shuffle Service是同一進(jìn)程，當(dāng)Shuffle的數(shù)據(jù)量特別大時(shí)，通常會(huì)導(dǎo)致NodeManager重啟，從而影響YARN調(diào)度的穩(wěn)定性。
EMR推出的基于Shuffle的ESS服務(wù)，可以優(yōu)化目前方案的問(wèn)題。優(yōu)勢(shì)如下：
- 使用
Push-Style Shuffle代替Pull-Style，減少Mapper的內(nèi)存壓力。 - 支持
IO聚合，Shuffle Read的連接數(shù)從M*N降到N，同時(shí)更改隨機(jī)讀為順序讀。 - 支持兩副本機(jī)制，降低
Fetch Fail概率。 - 支持計(jì)算與存儲(chǔ)分離架構(gòu)，可以部署
Shuffle Service至特殊硬件環(huán)境中，與計(jì)算集群分離。 - 解決
Spark on Kubernetes時(shí)對(duì)本地磁盤(pán)的依賴。
ESS架構(gòu)圖
image.png
使用ESS
Spark使用ESS時(shí)，只需在提交Spark作業(yè)時(shí)添加如下兩個(gè)配置項(xiàng)
spark.shuffle.manager org.apache.spark.shuffle.ess.EssShuffleManager 固定值
spark.ess.master.address <ess-master-ip>:<ess-master-port>
【參考】
https://developer.aliyun.com/article/772328
https://developer.aliyun.com/article/779686
