利用clickhouse中的toStartOf*()函數(shù)，將時(shí)間歸屬到相同點(diǎn)，然后利用分組統(tǒng)計(jì)即可。 toStartOf*()函數(shù)： toStartOfInterval() ...
發(fā)簡(jiǎn)信
IP屬地：新疆
-
Clickhouse 實(shí)現(xiàn)分時(shí)統(tǒng)計(jì) -
ZooKeeper快速領(lǐng)導(dǎo)選舉（Fast Leader Election）機(jī)制解析前言 忙亂的1月馬上就要過去了，連續(xù)20多天沒更新，還是寫點(diǎn)什么找找狀態(tài)比較好。 最近我們服務(wù)ClickHouse集群的ZooKeeper znode數(shù)量一度突破了300萬，...
-
MapReduce Shuffle 和 Spark Shuffle 原理概述
更多大數(shù)據(jù)技術(shù)干貨，歡迎關(guān)注“大數(shù)據(jù)技術(shù)進(jìn)階”微信公眾號(hào)。 Shuffle簡(jiǎn)介 Shuffle的本意是洗牌、混洗的意思，把一組有規(guī)則的數(shù)據(jù)盡量打亂成無規(guī)則的數(shù)據(jù)。而在MapR...
-
Parquet與ORC：高性能列式存儲(chǔ)格式
http://blog.csdn.net/yu616568/article/details/51868447背景隨著大數(shù)據(jù)時(shí)代的到來，越來越多的數(shù)據(jù)流向了Hadoop生態(tài)圈，...
-
Hive調(diào)優(yōu)全方位指南(轉(zhuǎn)載)
正文目錄 1、表層面 1.1 利用分區(qū)表優(yōu)化 1.2 利用分桶表優(yōu)化 1.3 選擇合適的文件存儲(chǔ)格式 1.4 選擇合適的壓縮格式 2、HQL層面優(yōu)化 2.1 執(zhí)行計(jì)劃 2.1...
-
這兩月“阿里和金蝶”，我的兩次面試之旅
一、阿里面試，一次“期盼”和“揪心”之旅1說起與阿里的“面試姻緣”，最早要追溯到差不多10年前了。 那是2009的春天，那時(shí)的阿里遠(yuǎn)不像現(xiàn)在如日中天。阿里從B2B起家的，我記...
-
【轉(zhuǎn)載】馬蜂窩數(shù)據(jù)倉庫的架構(gòu)、模型與應(yīng)用實(shí)踐馬蜂窩數(shù)據(jù)倉庫的架構(gòu)、模型與應(yīng)用實(shí)踐 （馬蜂窩技術(shù)原創(chuàng)內(nèi)容，公眾號(hào)ID：mfwtech） 一、馬蜂窩數(shù)據(jù)倉庫與數(shù)據(jù)中臺(tái) 最近幾年，數(shù)據(jù)中臺(tái)概念的熱度一直不減。2018 年起，...
-
Canal + Kafka 實(shí)現(xiàn) MySQL 的 binlog 近實(shí)時(shí)同步背景 經(jīng)過上篇文章的測(cè)試 Kafka Connect For MySQL 實(shí)現(xiàn)增量數(shù)據(jù)同步，因?yàn)檠芯繒r(shí)間較短，網(wǎng)上資源較少，只能自己一步一步去探索，在理論層面上是可以實(shí)現(xiàn)業(yè)務(wù)...
