背景介紹 在交互式分析場景下,很多時候除了固定字段之外,還會有一些動態(tài)字段的需求。比如,在游戲場景下,需要動態(tài)存儲用戶每個游戲的play時長。 這種場景下,我們希望在一張表中...
ReplicatedMergeTree是ClickHouse最常用的表引擎之一,該引擎和MergeTree一樣都繼承自MergeTreeData, 和MergeTree共享相...
ClickHouse在計算層做了非常細(xì)致的工作,竭盡所能榨干硬件能力,提升查詢速度。它實現(xiàn)了單機(jī)多核并行、分布式計算、向量化執(zhí)行與SIMD指令、代碼生成等多種重要技術(shù)。 多核...
背景 ClickHouse 作為性能卓越的OLAP引擎,有豐富的數(shù)據(jù)分析函數(shù)。公司增長分析側(cè)使用 ClickHouse 的 windowFunnel 函數(shù)進(jìn)行自定義漏斗和路徑...
前言 Druid Coordinator 服務(wù)在整個Druid架構(gòu)中的主要作用是協(xié)調(diào)Segments在歷史節(jié)點之間的分布。其主要功能包括是segments在historica...
cmake是一種跨平臺的編譯工具,比make更為高級,使用起來要方便的多。cmake主要是編寫了cmakelists.txt文件,然后用cmake命令將cmakelists....
因為工作中用到calcite做SQL query engine,所以對calcite的源代碼做了一些研究,其中VolcanoPlanner是非常重要的一個模塊,本文對最近的一...
在maintain我們的daily spark jobs時,發(fā)現(xiàn)有的時候一些spark jobs在insert數(shù)據(jù)到hive table時會在所有tasks完成后hang住很...
Prologue 前面陸陸續(xù)續(xù)寫了幾篇關(guān)于Flink的淺顯的小文章,其中多次提到了“異步屏障快照(asychronous barrier snapshot, ABS)算法”這...
大概誰都沒有想到,周杰倫的新歌《說好不哭》會如此一波三折。 一開始,強(qiáng)勢刷屏,快速售出,連QQ音樂都一度整崩潰了。 可第二天,不同的聲音出來了,說得狠一點的,認(rèn)為《說好不哭》...
本文基于spark streaming通過direct mode訪問kafka的場景,從源碼出發(fā)分析spark streaming如何實現(xiàn)數(shù)據(jù)讀取的限流和反壓。 我們知道,K...