map 和 mapPartitions

map:
遍歷算子，可以遍歷RDD中每一個(gè)元素，遍歷的單位是每條記錄

mapPartitions
遍歷算子，可以改變RDD格式，會(huì)提高RDD并行度，遍歷單位是partition，也就是在遍歷之前它會(huì)將一個(gè)partition的數(shù)據(jù)加載到內(nèi)存中

那么問題來了用上面的兩個(gè)算子遍歷一個(gè)RDD誰的效率高？

mapPartitions算子效率高

mapPartitions算子占用內(nèi)存多，如果一個(gè)partition的計(jì)算結(jié)果非常非常大，那么可能造成OOM，怎么解決？

repartition算子來增加RDD的分區(qū)數(shù)，那么每一個(gè)partition的計(jì)算結(jié)果就減少了很多。

mapPartitions應(yīng)用場(chǎng)景
一般在將一個(gè)RDD的計(jì)算結(jié)果寫入到數(shù)據(jù)庫(mysql oracle redis)中時(shí)會(huì)使用這個(gè)算子，這個(gè)算子適合將數(shù)據(jù)插入到數(shù)據(jù)庫

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容