發(fā)簡(jiǎn)信
IP屬地：西藏
-
設(shè)計(jì)模式：橋接模式0x01 背景 當(dāng)一個(gè)類(lèi)存在一個(gè)（或多個(gè)）變化的維度時(shí)，如果采用繼承的方式來(lái)定義不同的實(shí)現(xiàn)，會(huì)導(dǎo)致實(shí)現(xiàn)類(lèi)數(shù)量呈指數(shù)爆炸，比如對(duì)于畫(huà)布來(lái)說(shuō)，形狀上...
-
Clickhouse的bitmap函數(shù)
bitmapBuild(array) 從無(wú)符號(hào)整型（UInt8、UInt32、UInt64等）array構(gòu)造bitmap bitmapToArr...
-
Spark任務(wù)調(diào)優(yōu)
0x01 數(shù)據(jù)序列化調(diào)優(yōu) 在進(jìn)行RDD緩存和Shuffle過(guò)程時(shí)，Spark會(huì)將數(shù)據(jù)對(duì)象進(jìn)行序列化，所以選擇合適的序列化方法，可以提高spark...
-
Spark數(shù)據(jù)傾斜的處理方案0x01 數(shù)據(jù)傾斜發(fā)生的原理 Spark在進(jìn)行Shuffle的時(shí)候，必須將各個(gè)節(jié)點(diǎn)上相同的key拉取到某個(gè)節(jié)點(diǎn)上的一個(gè)task來(lái)進(jìn)行處理，比如按...
-
Spark的Stage劃分0x01 寬依賴和窄依賴 窄依賴： 父RDD的每個(gè)分區(qū)最多被子RDD的一個(gè)分區(qū)所用（一個(gè)父RDD分區(qū)對(duì)應(yīng)一個(gè)子RDD分區(qū)），即父RDD的數(shù)據(jù)沒(méi)有...
-
Kafka生產(chǎn)者的消息分區(qū)策略問(wèn)題：有哪些分區(qū)策略/分區(qū)算法？ 分區(qū)策略的定義：決定生產(chǎn)者將消息發(fā)送到哪個(gè)分區(qū)的算法。 1. 輪詢策略/順序分配（默認(rèn)分區(qū)策略） 優(yōu)點(diǎn)：可以提...