1 概述 如果將ClickHouse作為Log或Metrics這種具有明顯時(shí)序特征數(shù)據(jù)的存儲(chǔ)和分析引擎,那就需要考慮這些數(shù)據(jù)的生命周期管理,即設(shè)置數(shù)據(jù)的老化機(jī)制,如是否需要根...
1 概述 如果將ClickHouse作為Log或Metrics這種具有明顯時(shí)序特征數(shù)據(jù)的存儲(chǔ)和分析引擎,那就需要考慮這些數(shù)據(jù)的生命周期管理,即設(shè)置數(shù)據(jù)的老化機(jī)制,如是否需要根...
說明 周末閑來無事花點(diǎn)時(shí)間,基于Lucene倒排索引的思想,使用Python簡單實(shí)現(xiàn)了索引文檔與短語搜索的小功能,目的是幫助快速理解倒排索引的寫入與查詢的基本思想。 簡單的小...
Debug說明 記錄ES數(shù)據(jù)搜索的整個(gè)debug流程,具體細(xì)節(jié)沒有作過多的解釋說明 Debug的索引,設(shè)置2shard、0replicas,便于理解每個(gè)分片的執(zhí)行主線 ES ...
一 環(huán)境準(zhǔn)備 下文以常見ClickHouse集群部署架構(gòu)[http://www.itdecent.cn/p/f1fa7e5cb67f]中方案四的部署架構(gòu)為例。 節(jié)點(diǎn)名稱主機(jī)...
背景 前段時(shí)間幫著客戶排查ES相關(guān)的問題,客戶環(huán)境后期接入的數(shù)據(jù)量比當(dāng)初規(guī)劃的多了很多,依據(jù)機(jī)器資源的使用情況決定對(duì)當(dāng)前ES集群進(jìn)行擴(kuò)容;由2data擴(kuò)充為4data且專門獨(dú)...
背景 前段時(shí)間客戶根據(jù)看到的ES日志報(bào)了索引無法創(chuàng)建的Bug,研發(fā)工作完成差不多后,開始梳理前線客戶Bug,調(diào)研后才發(fā)現(xiàn)原來是Dangling索引的問題;這篇文檔算是對(duì)Dan...
前言 平時(shí)在研究ES的分布式Doc(文檔)寫入操作時(shí),我們已經(jīng)知道對(duì)將要寫入的Doc,ES首先會(huì)計(jì)算其應(yīng)該寫入到索引的哪個(gè)分片,然后在根據(jù)集群metaData中的路由信息判斷...
背景 某中型互聯(lián)網(wǎng)公司的游戲業(yè)務(wù),使用了騰訊云的Elasticsearch產(chǎn)品,采用ELK架構(gòu)存儲(chǔ)業(yè)務(wù)日志。因?yàn)橛螒驑I(yè)務(wù)本身的日志數(shù)據(jù)量非常大(寫入峰值在100w qps),...
自從2019年對(duì)Elasticsearch項(xiàng)目提交過一次代碼之后,開始逐漸關(guān)注社區(qū)里的新動(dòng)態(tài),并且嘗試去解決一些issue,通過這個(gè)過程去理解源碼從而深入理解Elastics...