1. 主流OLAP引擎技術(shù)原理大閱兵 1.1 何為OLAP 在前文 BI系統(tǒng)與ClickHouse:探索式BI的OLAP技術(shù)演進(jìn)之路 [https://kstack.corp...
Elasticsearch 對外提供了一個 _tasks 接口,用于獲取當(dāng)前各個節(jié)點(diǎn)正在執(zhí)行的任務(wù),這里要避免和 pending_tasks 搞混,后者是用于獲取在 mast...
跳表是一種神奇的數(shù)據(jù)結(jié)構(gòu),因?yàn)閹缀跛邪姹镜拇髮W(xué)本科教材上都沒有跳表這種數(shù)據(jù)結(jié)構(gòu),而且神書《算法導(dǎo)論》、《算法第四版》這兩本書中也沒有介紹跳表。但是跳表插入、刪除、查找元素的...
背景 近日云上Elasticsearch的客戶,提過來了一個需求,期望把上游業(yè)務(wù)的日志中的一些無用字段從ES中刪除掉,這些字段的名稱是固定位數(shù)的隨機(jī)字符串,期望能夠通過一些過...
JVM之所以擁有強(qiáng)大的生態(tài),是因?yàn)樗强缯Z言性的,JVM只識別字節(jié)碼文件,不論是什么語言編寫的代碼,只要經(jīng)過編譯后能生成.class的字節(jié)碼文件,JVM都可以進(jìn)行解析。當(dāng)然這...
JVM Client 模式和 Server模式的區(qū)別 通過 java -version 可查看 JVM 所處的模式,并可以通過修改配置文件進(jìn)行配置,那它們有什么區(qū)別呢? Se...
前言 最近很多粉絲朋友私聊我說能不能給整理出一份多線程面試題出來,說自己在最近的面試中老是被問到這一塊的問題被問的很煩躁,前一段時間比較忙沒時間回私信,前兩天看到私信我也是趕...
目錄 前言 初版設(shè)計(jì)方案 CK 分頁查詢 使用ES Scroll Scan 優(yōu)化深翻頁 ES+Hbase 組合查詢方案 RediSearch+RedisJSON 優(yōu)化方案 總...
在使用filebeat采集部署在使用騰訊云TKE容器集群上的日志時,會把default、kube-system等默認(rèn)的命名空間下的日志都采集上來,但是這些命名空間下的日志一般...
從事Elasticsearch云產(chǎn)品的研發(fā)已經(jīng)四年多了,在服務(wù)公有云客戶的過程中也遇到了各種各樣的使用方式以及問題,本文就把過去幾年記錄的一些問題和解決辦法進(jìn)行歸類和總結(jié),常...
1. 背景 在之前的一篇文章"PB級大規(guī)模Elasticsearch集群的運(yùn)維與調(diào)優(yōu)實(shí)踐"中,指出了在集群每天產(chǎn)生大量分片,并且索引不能刪除的情況下,需要對比較老的索引通過配...
1 CPU和內(nèi)存的交互 了解jvm內(nèi)存模型前,了解下cpu和計(jì)算機(jī)內(nèi)存的交互情況?!疽?yàn)镴ava虛擬機(jī)內(nèi)存模型定義的訪問操作與計(jì)算機(jī)十分相似】 有篇很棒的文章,從cpu講到內(nèi)...
背景 有一天收到告警,顯示用于存儲日志的es集群磁盤使用率超過了85%,因此登陸kibana進(jìn)行一番查看,發(fā)現(xiàn)該集群有很多幾個月之前的索引,直接DELETE filebeat...
背景 客戶為了實(shí)現(xiàn)search after功能,必須有一個modify_at字段在更新doc的時候不能修改,也就是更新的時候如果請求body里包含了這個modify_at字段...
背景 ClickHouse 作為開源 OLAP 引擎,因其出色的性能表現(xiàn)在大數(shù)據(jù)生態(tài)中得到了廣泛的應(yīng)用。區(qū)別于 Hadoop 生態(tài)組件通常依賴 HDFS 作為底層的數(shù)據(jù)存儲,...
在某些業(yè)務(wù)場景中,業(yè)務(wù)服務(wù)端的日志或者是云上組件的日志會歸檔存儲到對象存儲COS中,在需要進(jìn)行查詢的時候需要從COS中獲取并查詢?nèi)罩荆藭r可以借助于騰訊云Logstash[h...