IP屬地：陜西
-
spark的groupByKey和combineByKey算子的使用情況對比groupByKey和combineByKey算子底層都是調(diào)用了combineByKeyWithClassTag方法，區(qū)別在于各自方法的傳入的參...
-
spark的join操作當(dāng)我們在操作表進(jìn)行join時(shí)，如何盡可能的避免shuffle過程？ （1）設(shè)置分?jǐn)?shù)函數(shù)和分?jǐn)?shù)數(shù)一樣 兩個(gè)RDD進(jìn)行join操作前，對其分別執(zhí)行了...
-
創(chuàng)建快照過程中報(bào)異常:SnapshotCreationException業(yè)務(wù)中需要以讀取快照的方式讀取hbase表，剛開始會(huì)重新創(chuàng)建快照，但是遭遇了以下的異常： 首次見到該異常，不知其意，只能翻看源碼，找到Snaps...
-
spark算子1：repartitionAndSortWithinPartitions
repartitionAndSortWithinPartitions算是一個(gè)高效的算子，是因?yàn)樗仁褂胷epartition And sort...
-
[源碼分析]spark shuffle的讀操作
上一篇解讀了shuffle寫操作的流程，相比較shuffle讀操作而言是比較簡單的；shuffle讀取過程比較耗內(nèi)存，由于在最后會(huì)把所有的數(shù)據(jù)拉...
-
[源碼分析]spark shuffle的寫操作基于spark1.6版本的理解，簡單聊一聊spark shuffle 寫操作的過程，以及該過程中可以優(yōu)化的地方；見解粗略，往提出意見spark1...