在帝都和錢塘之間奔波的非主流程序員，前國重實(shí)驗(yàn)室里的基層科研工作者，現(xiàn)在在云棲中乘物以游心，搬磚能還房貸還能有遠(yuǎn)方。
發(fā)簡信
IP屬地：福建
-
技術(shù)爭鳴——關(guān)于OLAP引擎你所需要知道的一切1. 主流OLAP引擎技術(shù)原理大閱兵 1.1 何為OLAP 在前文 BI系統(tǒng)與ClickHouse：探索式BI的OLAP技術(shù)演進(jìn)之路 [https://kstack.corp...
-
聊聊 Elasticsearch 中的任務(wù)管理機(jī)制
Elasticsearch 對外提供了一個 _tasks 接口，用于獲取當(dāng)前各個節(jié)點(diǎn)正在執(zhí)行的任務(wù)，這里要避免和 pending_tasks 搞混，后者是用于獲取在 mast...
-
Skip List--跳表（全網(wǎng)最詳細(xì)的跳表文章沒有之一）跳表是一種神奇的數(shù)據(jù)結(jié)構(gòu)，因?yàn)閹缀跛邪姹镜拇髮W(xué)本科教材上都沒有跳表這種數(shù)據(jù)結(jié)構(gòu)，而且神書《算法導(dǎo)論》、《算法第四版》這兩本書中也沒有介紹跳表。但是跳表插入、刪除、查找元素的...
-
用幾行腳本解決了困擾了客戶一周的需求
背景 近日云上Elasticsearch的客戶，提過來了一個需求，期望把上游業(yè)務(wù)的日志中的一些無用字段從ES中刪除掉，這些字段的名稱是固定位數(shù)的隨機(jī)字符串，期望能夠通過一些過...
-
熱點(diǎn)代碼編譯和棧上替換JVM之所以擁有強(qiáng)大的生態(tài)，是因?yàn)樗强缯Z言性的，JVM只識別字節(jié)碼文件，不論是什么語言編寫的代碼，只要經(jīng)過編譯后能生成.class的字節(jié)碼文件，JVM都可以進(jìn)行解析。當(dāng)然這...
-
你了解JVM中的 JIT 即時編譯及優(yōu)化技術(shù)嗎？
JVM Client 模式和 Server模式的區(qū)別 通過 java -version 可查看 JVM 所處的模式，并可以通過修改配置文件進(jìn)行配置，那它們有什么區(qū)別呢？ Se...
-
新鮮出爐！面試90%會被問到的Java多線程面試題，史上最全系列！
前言 最近很多粉絲朋友私聊我說能不能給整理出一份多線程面試題出來，說自己在最近的面試中老是被問到這一塊的問題被問的很煩躁，前一段時間比較忙沒時間回私信，前兩天看到私信我也是趕...
-
千萬級數(shù)據(jù)查詢：CK、ES、RediSearch怎么選?目錄 前言 初版設(shè)計(jì)方案 CK 分頁查詢 使用ES Scroll Scan 優(yōu)化深翻頁 ES+Hbase 組合查詢方案 RediSearch+RedisJSON 優(yōu)化方案 總...
-
filebeat采集容器日志時根據(jù)kubernetes元數(shù)據(jù)限定采集源的問題
在使用filebeat采集部署在使用騰訊云TKE容器集群上的日志時，會把default、kube-system等默認(rèn)的命名空間下的日志都采集上來，但是這些命名空間下的日志一般...
-
本話題以企業(yè)級系統(tǒng)運(yùn)維、技術(shù)運(yùn)營為主,包括：Linux，數(shù)據(jù)庫和存儲，虛擬化和SDN，信息安全，運(yùn)維開發(fā)，可視化，高可用架構(gòu)，團(tuán)隊(duì)建設(shè)等 資源：https://www.gitbook.com/book/riboseyim/linux-perf-master QQ群：338272982
-
這份Elasticsearch 工作筆記，值得收藏從事Elasticsearch云產(chǎn)品的研發(fā)已經(jīng)四年多了，在服務(wù)公有云客戶的過程中也遇到了各種各樣的使用方式以及問題，本文就把過去幾年記錄的一些問題和解決辦法進(jìn)行歸類和總結(jié)，常...
-
Elasticsearch ILM Shrink Action源碼優(yōu)化與探討1. 背景 在之前的一篇文章"PB級大規(guī)模Elasticsearch集群的運(yùn)維與調(diào)優(yōu)實(shí)踐"中，指出了在集群每天產(chǎn)生大量分片，并且索引不能刪除的情況下，需要對比較老的索引通過配...
-
深入理解JVM-內(nèi)存模型（jmm）和GC1 CPU和內(nèi)存的交互 了解jvm內(nèi)存模型前，了解下cpu和計(jì)算機(jī)內(nèi)存的交互情況?！疽?yàn)镴ava虛擬機(jī)內(nèi)存模型定義的訪問操作與計(jì)算機(jī)十分相似】 有篇很棒的文章，從cpu講到內(nèi)...
-
誤刪除Elasticsearch ILM Rollover Action滾動生成的索引后怎么解決
背景 有一天收到告警，顯示用于存儲日志的es集群磁盤使用率超過了85%，因此登陸kibana進(jìn)行一番查看，發(fā)現(xiàn)該集群有很多幾個月之前的索引，直接DELETE filebeat...
-
Elasticsearch寫入時既要upsert又要實(shí)現(xiàn)部分更新
背景 客戶為了實(shí)現(xiàn)search after功能，必須有一個modify_at字段在更新doc的時候不能修改，也就是更新的時候如果請求body里包含了這個modify_at字段...
-
ClickHouse 存算分離架構(gòu)探索背景 ClickHouse 作為開源 OLAP 引擎，因其出色的性能表現(xiàn)在大數(shù)據(jù)生態(tài)中得到了廣泛的應(yīng)用。區(qū)別于 Hadoop 生態(tài)組件通常依賴 HDFS 作為底層的數(shù)據(jù)存儲，...
-
騰訊云Logstash實(shí)戰(zhàn)5-讀取COS中的日志文件并寫入到Elasticsearch在某些業(yè)務(wù)場景中，業(yè)務(wù)服務(wù)端的日志或者是云上組件的日志會歸檔存儲到對象存儲COS中，在需要進(jìn)行查詢的時候需要從COS中獲取并查詢?nèi)罩荆藭r可以借助于騰訊云Logstash[h...
