1.通過explain可以清晰的看到stage劃分。常見的是各個(gè)算子（join groupby orderby 等有shuffle）或者是一些filter where等。

2.基于上面的1就可以劃分出stage。但是有些stage并不會執(zhí)行，或者說經(jīng)過優(yōu)化器后的filter where會在其他stage里進(jìn)行。這樣，有些stage就是空的stage。

3.基于stage劃分，如何確定job數(shù)量（總數(shù)就是stage數(shù)量）。主要是看哪些stage會執(zhí)行。只有需要執(zhí)行的stage才會提交yarn，生成具體的job application ，在日志里就可以看到有很多job并沒有執(zhí)行

————————————————

版權(quán)聲明：本文為CSDN博主「yisun123456」的原創(chuàng)文章，遵循CC 4.0 BY-SA版權(quán)協(xié)議，轉(zhuǎn)載請附上原文出處鏈接及本聲明。

原文鏈接：https://blog.csdn.net/yisun123456/article/details/111354554