本篇講解Hive大表N：N關(guān)聯(lián)的小笛卡爾積+數(shù)據(jù)傾斜的優(yōu)化方法

上一篇SMB Join發(fā)現(xiàn)卡在一個map，看日志發(fā)現(xiàn)comm_id=102073766數(shù)據(jù)量很大,檢查數(shù)據(jù)分布

comm_id=102073766以外,top20數(shù)據(jù)量都在2500-4000,3873* 3873≈1600w,問題不大,4w*4w=16億 問題很大

我們知道Mapjoin可以解決大笛卡爾積,所以改用SMBjoin+Mapjoin,只將comm_id=102073766 單拎出來做Map join

1.建分桶表

2.插入分桶表(剔除comm_id=102073766)

3.SMB Join

4.comm_id=102073766建A表(利用distubute by, 做160個block)

5.再建一張只有1個block的B表,與A表數(shù)據(jù)相同

6.Map join 將b表廣播到A表160個maptask關(guān)聯(lián)

最后將兩張結(jié)果表union all

代碼太長就不貼了，參數(shù)前兩篇都有，意思到了就行

本篇總結(jié)：SMB Join可以解決小笛卡爾積,但相同的key都會在同一個task中join,無法解決數(shù)據(jù)傾斜。將數(shù)據(jù)傾斜的key單拎出來做Mapjoin,兩者配合食用, 這樣就可以解決小笛卡爾積+數(shù)據(jù)傾斜Join.