IP屬地：上海
-
Map類型：ClickHouse中對動態(tài)字段的支持
背景介紹 在交互式分析場景下，很多時候除了固定字段之外，還會有一些動態(tài)字段的需求。比如，在游戲場景下，需要動態(tài)存儲用戶每個游戲的play時長。 ...
-
ClickHouse復制表同步機制淺析
ReplicatedMergeTree是ClickHouse最常用的表引擎之一，該引擎和MergeTree一樣都繼承自MergeTreeData...
-
Calcite源碼學習之VolcanoPlanner因為工作中用到calcite做SQL query engine，所以對calcite的源代碼做了一些研究，其中VolcanoPlanner是非常...
-
Spark InsertIntoHiveTable如何commit結(jié)果數(shù)據(jù)在maintain我們的daily spark jobs時，發(fā)現(xiàn)有的時候一些spark jobs在insert數(shù)據(jù)到hive table時會在所...
-
Spark Streaming限流反壓機制源碼剖析本文基于spark streaming通過direct mode訪問kafka的場景，從源碼出發(fā)分析spark streaming如何實現(xiàn)數(shù)據(jù)讀...
-
Spark TaskMemoryManager如何為task分配執(zhí)行內(nèi)存？本文討論跟執(zhí)行內(nèi)存密切相關(guān)的一個組件：TaskMemoryManager（下文簡稱TMM）。TMM是tungsten內(nèi)存管理機制的核心實現(xiàn)類（t...
-
Spark存儲內(nèi)存在哪些地方用到？漫談Spark內(nèi)存管理(一)有提到問題：“ Spark中用到內(nèi)存的地方有哪些？存儲內(nèi)存主要消耗在哪些地方？執(zhí)行內(nèi)存主要消耗在哪些地方？”。本文就...
-
Spark的join什么情況下可以避免shuffle？Spark的join操作可能觸發(fā)shuffle操作。shuffle操作要經(jīng)過磁盤IO，網(wǎng)絡(luò)傳輸，對性能影響比較大。本文聊一聊Spark的join...
-
Spark自建的邏輯內(nèi)存管理器是怎么申請和釋放內(nèi)存的？在漫談Spark內(nèi)存管理(一)中，概述了Spark內(nèi)存管理做的事情，并著重對unroll memory的概念做了解釋及分析。本文繼續(xù)討論Spar...