發(fā)簡信
IP屬地：澳門
-
-
@且汐汐 自己上zk創(chuàng)建即可。
ClickHouse 數(shù)據(jù)遷移[remote表、clickhouse-copier]
一、 clickhouse-copier 1、what's this？ clickhouse-copier是官方出的用來同步數(shù)據(jù)的工具，依賴zk來滿足跨集群同步數(shù)據(jù)的場景。 ...
-
Spring @Configuration 注解介紹
提前說明: 下文是我根據(jù)官方文檔進行自己的描述和擴展, 寫下來了我覺得比較值得關(guān)注的地方, 并附帶了自己的介紹, 并不是原封不動的拿過來了api翻譯了下,越往后越精彩 指示一...
-
關(guān)于在springboot中使用maven的profile打包，無法替換application.properties中 ${} 占位符的問題前言： 最近在項目中使用springboot時發(fā)現(xiàn)，采用在pom中定義不同的profile，并且maven打包時 采用-P參數(shù)并不能替換我application.proper...
-
ClickHouse MergeTree變得更像LSM Tree了？——Polymorphic Parts特性淺析前言 筆者在之前的文章中已經(jīng)提到過，MergeTree引擎族是ClickHouse強大功能的基礎(chǔ)。MergeTree這個名詞是在我們耳熟能詳?shù)腖SM Tree之上做減法而來—...
-
ClickHouse遇見RoaringBitmap
Q&A Q：如圖。 A：當然是自帶的。其實RoaringBitmap正是ClickHouse位圖的底層實現(xiàn)（笑 RoaringBitmap的預(yù)備知識請見這里。 在CH中產(chǎn)生位...
-
LSM Tree-Based存儲引擎的compaction策略（feat. RocksDB）前言 這篇從半個月前就開始寫，斷斷續(xù)續(xù)寫到現(xiàn)在，終于能發(fā)了（被簡書吞了好幾次），不容易。 最近筆者正在補習與RocksDB底層相關(guān)的細節(jié)，因為： 次要原因——當前所有Flin...
-
@技術(shù)文章收集 可以
ClickHouse 數(shù)據(jù)存儲架構(gòu)優(yōu)化
一、背景 當我進組的時候，當時的ClickHouse的版本還是在1.x的時代，partition還不支持自定義，只能按月來劃分。我們組內(nèi)的數(shù)據(jù)存儲還是按天來分表設(shè)計，例如“X...
-
ClickHouse MaterializedView TTL
當我們在使用物化視圖的時候，不可避免的也會遇到需要刪除歷史數(shù)據(jù)的需求。由于TTL的特性只支持MergeTree家族不支持物化視圖，難道我們就沒有其他辦法了嘛？當我們原先創(chuàng)建的...
-
深入學習二叉樹(一) 二叉樹基礎(chǔ)前言 樹是數(shù)據(jù)結(jié)構(gòu)中的重中之重，尤其以各類二叉樹為學習的難點。一直以來，對于樹的掌握都是模棱兩可的狀態(tài)，現(xiàn)在希望通過寫一個關(guān)于二叉樹的專題系列。在學習與總結(jié)的同時更加深入的了...
-
解讀ClickHouse日志中的SQL查詢計劃
截至目前，ClickHouse并未在正式版本中提供查看查詢計劃的原生EXPLAIN語法。雖然GitHub上對應(yīng)的Pull Request已經(jīng)實現(xiàn)了，但是還沒有發(fā)布（注：最近已...
-
ElasticsSearch 源碼編譯&啟動1、準備 idea elasticsearch源碼包，可以直接從github上下載。本文使用v7.8.0 gradle，需要v6.5+ jdk，需要jdk12+ 已經(jīng)部署了e...
-
ClickHouse 高階函數(shù)
先來一個完整的例子，該示例根據(jù)行為日志計算用戶訪問的top路徑select data, count(1) cn from (with maxIf( c_t , cat=...
-
ElasticSearch 自定義plugin來控制rebalance觸發(fā)時間1、backgroupd ElasticSearch有提供豐富的plugin接口，我們自己能實現(xiàn)plugin來自定義需求。 我們的ElasticSearch是用來做時序性分析...
-
@bellengao 理論上只會寫入當前小時的分片才對呀，按天分片的index可以視為冷index了，影響的應(yīng)該只是reindex的速度。
High cardinality下對持續(xù)寫入的Elasticsearch索引進行聚合查詢的性能優(yōu)化
High cardinality下對持續(xù)寫入的Elasticsearch索引進行聚合查詢的性能優(yōu)化 背景 最近使用騰訊云Elasticsearch Service的用戶提出，...
-
基于ClickHouse的用戶行為（路徑）分析實踐前言 ClickHouse為用戶提供了豐富的多參聚合函數(shù)（parametric aggregate function）和基于數(shù)組+Lambda表達式的高階函數(shù)（higher-...
-
PB級大規(guī)模Elasticsearch集群運維與調(diào)優(yōu)實踐背景 某中型互聯(lián)網(wǎng)公司的游戲業(yè)務(wù)，使用了騰訊云的Elasticsearch產(chǎn)品，采用ELK架構(gòu)存儲業(yè)務(wù)日志。因為游戲業(yè)務(wù)本身的日志數(shù)據(jù)量非常大(寫入峰值在100w qps)，...
-
那個按天分的index需要配置eager_global_ordinals吧？這樣好像就可以了。
High cardinality下對持續(xù)寫入的Elasticsearch索引進行聚合查詢的性能優(yōu)化
High cardinality下對持續(xù)寫入的Elasticsearch索引進行聚合查詢的性能優(yōu)化 背景 最近使用騰訊云Elasticsearch Service的用戶提出，...
-
你好，請問下，那如果查詢到的index是以天為單位的index（查詢幾個小時之前的數(shù)據(jù)），那個index上面的cardinality依舊很高，好像沒辦法解決?。?br>在低版本上面的execute_hit的bug問題好像有個辦法可以繞過去，之前哪里看到忘記了??
High cardinality下對持續(xù)寫入的Elasticsearch索引進行聚合查詢的性能優(yōu)化
High cardinality下對持續(xù)寫入的Elasticsearch索引進行聚合查詢的性能優(yōu)化 背景 最近使用騰訊云Elasticsearch Service的用戶提出，...
