spark與hive的數(shù)據(jù)傾斜

Hive常見的數(shù)據(jù)傾斜：

(1)本身數(shù)據(jù)就有傾斜

(2)sql語(yǔ)句造成的數(shù)據(jù)傾斜

(3)join容易造成數(shù)據(jù)傾斜

(4)group by造成的數(shù)據(jù)傾斜

Hive數(shù)據(jù)傾斜解決方法：

(1)參數(shù)調(diào)節(jié)

(2)SQL語(yǔ)句調(diào)節(jié)

(3)對(duì)于group by或distinct，設(shè)定 hive.groupby.skewindata=true

(4)map join可以避免數(shù)據(jù)傾斜

spark中的數(shù)據(jù)傾斜：

1、Executor lost，OOM，Shuffle過程出錯(cuò)

2、Driver OOM

3、單個(gè)Executor執(zhí)行時(shí)間特別久，整體任務(wù)卡在某個(gè)階段不能結(jié)束

4、正常運(yùn)行的任務(wù)突然失敗

數(shù)據(jù)傾斜的原因：

[if !supportLists]1.?[endif]我們以Spark和Hive的使用場(chǎng)景為例。他們?cè)谧鰯?shù)據(jù)運(yùn)算的時(shí)候會(huì)設(shè)計(jì)到，countdistinct、group by、join等操作，這些都會(huì)觸發(fā)Shuffle動(dòng)作，一旦觸發(fā)，所有相同key的值就會(huì)拉到一個(gè)或幾個(gè)節(jié)點(diǎn)上，就容易發(fā)生單點(diǎn)問題。

[if !supportLists]2.?[endif]Shuffle是一個(gè)能產(chǎn)生奇跡的地方，不管是在Spark還是Hadoop中，它們的作用都是至關(guān)重要的，因?yàn)閿?shù)據(jù)分配不均勻?qū)е碌臄?shù)據(jù)傾斜。

3.在Spark streaming程序中，數(shù)據(jù)傾斜更容易出現(xiàn)，特別是在程序中包含一些類似sql的join、group這種操作的時(shí)候。 因?yàn)镾park Streaming程序在運(yùn)行的時(shí)候，我們一般不會(huì)分配特別多的內(nèi)存，因此一旦在這個(gè)過程中出現(xiàn)一些數(shù)據(jù)傾斜，就十分容易造成OOM。