解決數(shù)據(jù)傾斜問(wèn)題

join

小表join大表使用mapjoin

大表join大表使用skewinjoin

null值多的情況使用將key拼接隨機(jī)數(shù)打散

類型不一致jion轉(zhuǎn)化為一致數(shù)據(jù)類型進(jìn)行join

如果小表join大表，超過(guò)了小表定義的默認(rèn)配置，但不是特別大的情況，也可以通過(guò)mapjoin的注解，強(qiáng)制使用mapjoin達(dá)到優(yōu)化的

group by

group by 傾斜使用skewgroup

如果group by的字段粒度太大可以先，內(nèi)層嵌套更細(xì)粒度的group by

也可以拼接隨機(jī)數(shù)來(lái)進(jìn)行多次group by解決

還可以開(kāi)啟map端聚合，也就mapreduce中的combiner操作，來(lái)解決數(shù)據(jù)傾斜