上周調(diào)優(yōu)一個(gè)job 的時(shí)候發(fā)現(xiàn)一個(gè)join 意外的耗時(shí)間，如圖上一個(gè)join的shuffle操作就耗時(shí)1.2h. Input 才91GB, shuffle write 52...
發(fā)簡(jiǎn)信
IP屬地：上海
-
Spark task的輸入太大如何分割？
上周調(diào)優(yōu)一個(gè)job 的時(shí)候發(fā)現(xiàn)一個(gè)join 意外的耗時(shí)間，如圖上一個(gè)join的shuffle操作就耗時(shí)1.2h. Input 才91GB, shuffle write 52...