1 概述 如果將ClickHouse作為Log或Metrics這種具有明顯時(shí)序特征數(shù)據(jù)的存儲(chǔ)和分析引擎，那就需要考慮這些數(shù)據(jù)的生命周期管理，即設(shè)置數(shù)據(jù)的老化機(jī)制，如是否需要根...
發(fā)簡信
IP屬地：河南
-
ClickHouse數(shù)據(jù)生命周期管理 -
手寫簡版倒排索引（Inverted Index）說明 周末閑來無事花點(diǎn)時(shí)間，基于Lucene倒排索引的思想，使用Python簡單實(shí)現(xiàn)了索引文檔與短語搜索的小功能，目的是幫助快速理解倒排索引的寫入與查詢的基本思想。 簡單的小...
-
Elasticsearch Search Phase Debug 詳細(xì)記錄Debug說明 記錄ES數(shù)據(jù)搜索的整個(gè)debug流程，具體細(xì)節(jié)沒有作過多的解釋說明 Debug的索引，設(shè)置2shard、0replicas，便于理解每個(gè)分片的執(zhí)行主線 ES ...
-
ClickHouse集群部署一 環(huán)境準(zhǔn)備 下文以常見ClickHouse集群部署架構(gòu)[http://www.itdecent.cn/p/f1fa7e5cb67f]中方案四的部署架構(gòu)為例。 節(jié)點(diǎn)名稱主機(jī)...
-
Elasticsearch 索引數(shù)據(jù)被刪除問題的研究
背景 前段時(shí)間幫著客戶排查ES相關(guān)的問題，客戶環(huán)境后期接入的數(shù)據(jù)量比當(dāng)初規(guī)劃的多了很多，依據(jù)機(jī)器資源的使用情況決定對(duì)當(dāng)前ES集群進(jìn)行擴(kuò)容；由2data擴(kuò)充為4data且專門獨(dú)...
-
Elasticsearch Dangling Indices知識(shí)梳理背景 前段時(shí)間客戶根據(jù)看到的ES日志報(bào)了索引無法創(chuàng)建的Bug，研發(fā)工作完成差不多后，開始梳理前線客戶Bug，調(diào)研后才發(fā)現(xiàn)原來是Dangling索引的問題；這篇文檔算是對(duì)Dan...
-
Elasticsearch 獲取寫入Doc shardID的源碼分析前言 平時(shí)在研究ES的分布式Doc（文檔）寫入操作時(shí)，我們已經(jīng)知道對(duì)將要寫入的Doc，ES首先會(huì)計(jì)算其應(yīng)該寫入到索引的哪個(gè)分片，然后在根據(jù)集群metaData中的路由信息判斷...
-
PB級(jí)大規(guī)模Elasticsearch集群運(yùn)維與調(diào)優(yōu)實(shí)踐背景 某中型互聯(lián)網(wǎng)公司的游戲業(yè)務(wù)，使用了騰訊云的Elasticsearch產(chǎn)品，采用ELK架構(gòu)存儲(chǔ)業(yè)務(wù)日志。因?yàn)橛螒驑I(yè)務(wù)本身的日志數(shù)據(jù)量非常大(寫入峰值在100w qps)，...
-
總結(jié)最近半年對(duì)Elasticsearch開源項(xiàng)目的貢獻(xiàn)
自從2019年對(duì)Elasticsearch項(xiàng)目提交過一次代碼之后，開始逐漸關(guān)注社區(qū)里的新動(dòng)態(tài)，并且嘗試去解決一些issue，通過這個(gè)過程去理解源碼從而深入理解Elastics...
