IP屬地：河南
-
spark的groupByKey和combineByKey算子的使用情況對(duì)比groupByKey和combineByKey算子底層都是調(diào)用了combineByKeyWithClassTag方法，區(qū)別在于各自方法的傳入的參...
-
spark的join操作當(dāng)我們?cè)诓僮鞅磉M(jìn)行join時(shí)，如何盡可能的避免shuffle過(guò)程？ （1）設(shè)置分?jǐn)?shù)函數(shù)和分?jǐn)?shù)數(shù)一樣 兩個(gè)RDD進(jìn)行join操作前，對(duì)其分別執(zhí)行了...
-
創(chuàng)建快照過(guò)程中報(bào)異常:SnapshotCreationException業(yè)務(wù)中需要以讀取快照的方式讀取hbase表，剛開(kāi)始會(huì)重新創(chuàng)建快照，但是遭遇了以下的異常： 首次見(jiàn)到該異常，不知其意，只能翻看源碼，找到Snaps...
-
spark算子1：repartitionAndSortWithinPartitions
repartitionAndSortWithinPartitions算是一個(gè)高效的算子，是因?yàn)樗仁褂胷epartition And sort...
-
[源碼分析]spark shuffle的讀操作
上一篇解讀了shuffle寫(xiě)操作的流程，相比較shuffle讀操作而言是比較簡(jiǎn)單的；shuffle讀取過(guò)程比較耗內(nèi)存，由于在最后會(huì)把所有的數(shù)據(jù)拉...
-
[源碼分析]spark shuffle的寫(xiě)操作基于spark1.6版本的理解，簡(jiǎn)單聊一聊spark shuffle 寫(xiě)操作的過(guò)程，以及該過(guò)程中可以優(yōu)化的地方；見(jiàn)解粗略，往提出意見(jiàn)spark1...