引言 最近幾個月我們小組在做SQL拉數(shù)據(jù)相關(guān)的優(yōu)化工作，主要涉及Trino、ES、Lucene三個模塊的開發(fā)優(yōu)化，具體優(yōu)化包括列存-行轉(zhuǎn)列讀取、序列化協(xié)議優(yōu)化、SQL字段Or...
發(fā)簡信
IP屬地：海南
-
SQL-Elasticsearch拉數(shù)據(jù)優(yōu)化 -
ClickHouse數(shù)據(jù)生命周期管理1 概述 如果將ClickHouse作為Log或Metrics這種具有明顯時序特征數(shù)據(jù)的存儲和分析引擎，那就需要考慮這些數(shù)據(jù)的生命周期管理，即設置數(shù)據(jù)的老化機制，如是否需要根...
-
哈哈 trie樹是個好玩意
手寫簡版倒排索引（Inverted Index）
說明 周末閑來無事花點時間，基于Lucene倒排索引的思想，使用Python簡單實現(xiàn)了索引文檔與短語搜索的小功能，目的是幫助快速理解倒排索引的寫入與查詢的基本思想。 簡單的小...
-
手寫簡版倒排索引（Inverted Index）說明 周末閑來無事花點時間，基于Lucene倒排索引的思想，使用Python簡單實現(xiàn)了索引文檔與短語搜索的小功能，目的是幫助快速理解倒排索引的寫入與查詢的基本思想。 簡單的小...
-
Elasticsearch Search Phase Debug 詳細記錄Debug說明 記錄ES數(shù)據(jù)搜索的整個debug流程，具體細節(jié)沒有作過多的解釋說明 Debug的索引，設置2shard、0replicas，便于理解每個分片的執(zhí)行主線 ES ...
-
ClickHouse集群部署一 環(huán)境準備 下文以常見ClickHouse集群部署架構(gòu)[http://www.itdecent.cn/p/f1fa7e5cb67f]中方案四的部署架構(gòu)為例。 節(jié)點名稱主機...
-
@秦亞軍_bf9e 一般的做法是源ip不要是127.0.0.1之類的地址；其次這一塊可能要結(jié)合機器的iptables規(guī)則進行判斷了。
發(fā)往Docker容器內(nèi)的數(shù)據(jù)包源地址被修改的研究
引言 此文檔是對發(fā)往Docker容器內(nèi)的數(shù)據(jù)包源地址被修改的研究做的實踐記錄。 實踐環(huán)境一 路由信息： 一、通過另一臺主機向當前主機發(fā)送數(shù)據(jù)包1.192.168.84.75主...
-
hello，沒太明白你這里的意思哈；list insert操作是可以指定索引為0的，比如my_list = [1, 2, 3]，執(zhí)行操作my_list.insert(0,5)，則此時my_list會變成[5, 1, 2, 3]，即把插入的數(shù)據(jù)放到列表的最開始位置
python list 之時間復雜度分析
引言 我們在使用python開發(fā)過程中，list屬于使用非常廣泛的數(shù)據(jù)結(jié)構(gòu)。不管是自己程序存放數(shù)據(jù)，還是處理接口返回的數(shù)據(jù)，我們都更傾向于使用list。因為list用起來不僅...
-
Elasticsearch Dangling Indices知識梳理背景 前段時間客戶根據(jù)看到的ES日志報了索引無法創(chuàng)建的Bug，研發(fā)工作完成差不多后，開始梳理前線客戶Bug，調(diào)研后才發(fā)現(xiàn)原來是Dangling索引的問題；這篇文檔算是對Dan...
-
Elasticsearch 索引數(shù)據(jù)被刪除問題的研究
背景 前段時間幫著客戶排查ES相關(guān)的問題，客戶環(huán)境后期接入的數(shù)據(jù)量比當初規(guī)劃的多了很多，依據(jù)機器資源的使用情況決定對當前ES集群進行擴容；由2data擴充為4data且專門獨...
-
Elasticsearch 獲取寫入Doc shardID的源碼分析前言 平時在研究ES的分布式Doc（文檔）寫入操作時，我們已經(jīng)知道對將要寫入的Doc，ES首先會計算其應該寫入到索引的哪個分片，然后在根據(jù)集群metaData中的路由信息判斷...
-
Elasticsearch Write Debug 詳細記錄Debug說明 記錄ES寫入數(shù)據(jù)的整個Debug流程，具體實現(xiàn)細節(jié)沒有做過多解釋說明 Debug的索引，設置1shard、0replicas，便于理清主線 先創(chuàng)建索引，其次再...
-
老兄 再請教個問題，你這里對ES平均每秒寫入的次數(shù)，這個值是咋計算的呢？
PB級大規(guī)模Elasticsearch集群運維與調(diào)優(yōu)實踐
背景 某中型互聯(lián)網(wǎng)公司的游戲業(yè)務，使用了騰訊云的Elasticsearch產(chǎn)品，采用ELK架構(gòu)存儲業(yè)務日志。因為游戲業(yè)務本身的日志數(shù)據(jù)量非常大(寫入峰值在100w qps)，...
-
PB級大規(guī)模Elasticsearch集群運維與調(diào)優(yōu)實踐背景 某中型互聯(lián)網(wǎng)公司的游戲業(yè)務，使用了騰訊云的Elasticsearch產(chǎn)品，采用ELK架構(gòu)存儲業(yè)務日志。因為游戲業(yè)務本身的日志數(shù)據(jù)量非常大(寫入峰值在100w qps)，...
-
@bellengao 謝老兄 詳細解答
PB級大規(guī)模Elasticsearch集群運維與調(diào)優(yōu)實踐
背景 某中型互聯(lián)網(wǎng)公司的游戲業(yè)務，使用了騰訊云的Elasticsearch產(chǎn)品，采用ELK架構(gòu)存儲業(yè)務日志。因為游戲業(yè)務本身的日志數(shù)據(jù)量非常大(寫入峰值在100w qps)，...
-
“1GB堆內(nèi)存支持20-30個分片為宜；另外需要控制集群整體的分片數(shù)量，集群總體的分片數(shù)量一般不要超過3w”，老兄，這些經(jīng)驗值是如何得出的呢？ES數(shù)據(jù)節(jié)點1GB的堆內(nèi)存支持20~30個分片，可是有的索引mapping信息復雜，有些簡單啊，這個應該會有差異吧？對于集群總體的分片數(shù)量一般不要超過3w的說法，主要是怕集群的master節(jié)點中需要存放的metadata信息太大嗎？之前看過一個說法說master在管理cluster state這塊是通過單線程的方式來做的，因此這里3w的限制與這些都有關(guān)嗎？很想知道ES集群變大之后，對Master節(jié)點內(nèi)存造成壓力的主要包含哪幾塊？望老兄幫忙解答下
PB級大規(guī)模Elasticsearch集群運維與調(diào)優(yōu)實踐
背景 某中型互聯(lián)網(wǎng)公司的游戲業(yè)務，使用了騰訊云的Elasticsearch產(chǎn)品，采用ELK架構(gòu)存儲業(yè)務日志。因為游戲業(yè)務本身的日志數(shù)據(jù)量非常大(寫入峰值在100w qps)，...
-
總結(jié)最近半年對Elasticsearch開源項目的貢獻
自從2019年對Elasticsearch項目提交過一次代碼之后，開始逐漸關(guān)注社區(qū)里的新動態(tài)，并且嘗試去解決一些issue，通過這個過程去理解源碼從而深入理解Elastics...
