發(fā)簡信
IP屬地：陜西
-
設計模式：橋接模式0x01 背景 當一個類存在一個（或多個）變化的維度時，如果采用繼承的方式來定義不同的實現，會導致實現類數量呈指數爆炸，比如對于畫布來說，形狀上...
-
Clickhouse的bitmap函數
bitmapBuild(array) 從無符號整型（UInt8、UInt32、UInt64等）array構造bitmap bitmapToArr...
-
Spark任務調優(yōu)
0x01 數據序列化調優(yōu) 在進行RDD緩存和Shuffle過程時，Spark會將數據對象進行序列化，所以選擇合適的序列化方法，可以提高spark...
-
Spark數據傾斜的處理方案0x01 數據傾斜發(fā)生的原理 Spark在進行Shuffle的時候，必須將各個節(jié)點上相同的key拉取到某個節(jié)點上的一個task來進行處理，比如按...
-
Spark的Stage劃分0x01 寬依賴和窄依賴 窄依賴： 父RDD的每個分區(qū)最多被子RDD的一個分區(qū)所用（一個父RDD分區(qū)對應一個子RDD分區(qū)），即父RDD的數據沒有...
-
Kafka生產者的消息分區(qū)策略問題：有哪些分區(qū)策略/分區(qū)算法？ 分區(qū)策略的定義：決定生產者將消息發(fā)送到哪個分區(qū)的算法。 1. 輪詢策略/順序分配（默認分區(qū)策略） 優(yōu)點：可以提...