一、方案

使用隨機(jī)key實(shí)現(xiàn)雙重聚合

1、原理

2、使用場景

（1）groupByKey
（2）reduceByKey

比較適合使用這種方式；join，咱們通常不會這樣來做，后面會講三種，針對不同的join造成的數(shù)據(jù)傾斜的問題的解決方案。

1、第一輪聚合的時(shí)候，對key進(jìn)行打散，將原先一樣的key，變成不一樣的key，相當(dāng)于是將每個(gè)key分為多組；

2、先針對多個(gè)組，進(jìn)行key的局部聚合；接著，再去除掉每個(gè)key的前綴，然后對所有的key，進(jìn)行全局的聚合。

對groupByKey、reduceByKey造成的數(shù)據(jù)傾斜，有比較好的效果。

3、如果說，之前的第一、第二、第三種方案，都沒法解決數(shù)據(jù)傾斜的問題，那么就只能依靠這一種方式了。

二、流程圖解

image.png