????????前面介紹了很多關(guān)于Spark性能的調(diào)優(yōu)手段，今天來介紹一下Spark性能調(diào)優(yōu)的最后一個(gè)點(diǎn)，就是關(guān)于Spark中常用算子的調(diào)優(yōu)。廢話不多說，直接進(jìn)入正文；
1.使用mapPartitions算子提高性能
mapPartition的優(yōu)點(diǎn)：使用普通的map操作，假設(shè)一個(gè)partition中有1萬條數(shù)據(jù)，那么function就要被執(zhí)行1萬次，但是使用mapPartitions操作之后，function僅僅會(huì)被執(zhí)行一次，顯然性能得到了很大的提升，這個(gè)就沒必要在多廢話了。
mapPartition的缺點(diǎn)：使用普通的map操作，調(diào)用一次function執(zhí)行一條數(shù)據(jù)，不會(huì)出現(xiàn)內(nèi)存不夠使用的情況；但是使用mapPartitions操作，很顯然，如果數(shù)據(jù)量太過于大的時(shí)候，由于內(nèi)存有限導(dǎo)致發(fā)生OOM，內(nèi)存溢出。
總結(jié)：通過以上以上優(yōu)缺點(diǎn)的對(duì)比，我們可以得出一個(gè)結(jié)論；就是在數(shù)據(jù)量不是很大的情況下使用mapPartition操作，性能可以得到一定的提升，在使用mapPartition前，我們需要預(yù)先估計(jì)一下每個(gè)partition的量和每個(gè)executor可以被分配到的內(nèi)存資源。然后嘗試去運(yùn)行程序，如果程序沒有問題就大可放心的使用即可，下圖是一個(gè)實(shí)際的應(yīng)用例子，僅供參考。
2.filter操作之后使用coalesce算子提高性能
先看看默認(rèn)情況下，執(zhí)行完filter操作以后的各個(gè)partition的情況，如下圖所示；
問題：從上面的圖中可以很明顯的看出，經(jīng)過一次filter操作以后，每個(gè)partition的數(shù)據(jù)量不同程度的變少了，這里就出現(xiàn)了一個(gè)問題；由于每個(gè)partition的數(shù)據(jù)量不一樣，出現(xiàn)了數(shù)據(jù)傾斜的問題。比如上圖中執(zhí)行filter之后的第一個(gè)partition的數(shù)據(jù)量還有9000條。
解決方案：針對(duì)上述出現(xiàn)的問題，我們可以將filter操作之后的數(shù)據(jù)進(jìn)行壓縮處理；一方面減少partition的數(shù)量，從而減少task的數(shù)量；另一方面通過壓縮處理之后，盡量讓每個(gè)partition的數(shù)據(jù)量差不多，減少數(shù)據(jù)傾斜情況的出現(xiàn)，從而避免某個(gè)task運(yùn)行速度特別慢。coalesce算子就是針對(duì)上述出現(xiàn)的問題的一個(gè)解決方案，下圖是一個(gè)解決案例。
3.使用foreachPartition算子進(jìn)行
默認(rèn)的foreach對(duì)于每一條數(shù)據(jù)，都要單獨(dú)調(diào)用一次function并創(chuàng)建一個(gè)數(shù)據(jù)庫連接，如果數(shù)據(jù)量很大，對(duì)于spark作業(yè)是非常消耗性能的。
而對(duì)于foreachPartition來說，對(duì)于function函數(shù)，只調(diào)用一次，只獲取一個(gè)數(shù)據(jù)庫連接，一次將數(shù)據(jù)全部寫入數(shù)據(jù)庫。但是數(shù)據(jù)量很大的話，可能會(huì)引發(fā)OOM的問題。不過在生產(chǎn)環(huán)境中一般都是使用foreachPartition（好像說了半天廢話）。
4.使用repartition解決SparkSQL低并行度的問題
在spark項(xiàng)目中，如果在某些地方使用了SparkSQL，那么使用了SparkSQL的那個(gè)stage的并行度就沒有辦法通過手動(dòng)設(shè)置了，而是由程序自己決定。那么，我們通過什么樣的手段來提高這些stage的并行度呢？其實(shí)解決這個(gè)問題的辦法就是使partition的數(shù)量增多，從而間接的提高了task的并發(fā)度，要提高partition的數(shù)量，該怎么做呢？就是使用repartition算子，對(duì)SparkSQL查詢出來的數(shù)據(jù)重新進(jìn)行分區(qū)操作，此時(shí)可以增加分區(qū)的個(gè)數(shù)。具體使用如下圖所示：
總結(jié)：關(guān)于RDD算子的優(yōu)化，就先講到這里。關(guān)于整個(gè)Spark調(diào)優(yōu)，基本先告一段落，后面會(huì)介紹一些Spark源碼分析的知識(shí)，歡迎關(guān)注。
如需轉(zhuǎn)載，請(qǐng)注明：
