一、添加自定義參數(shù) 在KuduClientConfig中，添加自定義參數(shù)，如下 public long getSplitSize() { return splitSize; ...
IP屬地：臺灣
-
presto 0.217 提升kudu connector查詢性能
-
Presto數(shù)據(jù)模型Presto采取三層表結(jié)構(gòu)： catalog 對應(yīng)某一類數(shù)據(jù)源，例如hive的數(shù)據(jù)，或mysql的數(shù)據(jù) schema 對應(yīng)mysql中的數(shù)據(jù)庫 table 對應(yīng)mysql中的...
-
當(dāng)segment中deleted doc占比超過50%的時(shí)候，segment也會(huì)重建。
Elasticsearch 5.x 源碼分析（5）segments merge 流程分析
這兩周主要看了下 Elasticsearch（其實(shí)是Lucene）的 segments 的 merge 流程。事情起因是，線上的ES有些大索引，其中的segments 個(gè)數(shù)幾...
-
binlog不需要回滾，因?yàn)閞edolog已經(jīng)落盤了，binlog提交就說明事務(wù)成功。等恢復(fù)的時(shí)候會(huì)把redolog刷到內(nèi)存頁。
Mysql binlog redolog與crash-safe
Part 1 What and Why 什么是redog和binlog? redolog是對記錄修改之后的物理日志，物理日志就是說redolog保存的是某一行數(shù)據(jù)修改之后的值...
-
因?yàn)槭聞?wù)是否成功是以binlog為準(zhǔn)的，binlog沒執(zhí)行，就說明事務(wù)失敗需要回退，所以重啟之后還是會(huì)一致的。
Mysql binlog redolog與crash-safe
Part 1 What and Why 什么是redog和binlog? redolog是對記錄修改之后的物理日志，物理日志就是說redolog保存的是某一行數(shù)據(jù)修改之后的值...
-
首先佩服大佬，能結(jié)合實(shí)際應(yīng)用分析es。也有小問題請教一下，es1.4版本，44萬條數(shù)據(jù)，每次scroll size為200，為什么scroll_id一直不變呢？按理來說，scroll到后面，需要查詢的shard應(yīng)該越來越少，scroll_id也應(yīng)該越來越短才是吧。scroll_id解析完之后的內(nèi)容是什么呢？是shard_id和search_id嗎？如果只是把lastEmittedDoc保存一定時(shí)間，那每次傳一個(gè)不變的scroll_id的意義又何在呢？文檔上有句話：While the _scroll_id may change between requests, it doesn’t always change?—?in any case, only the most recently received _scroll_id should be used.不太理解是什么意思。希望可以交流一下，謝謝！
Elasticsearch 5.x 源碼分析（3）from size, scroll 和 search after
前兩天突然被業(yè)務(wù)部的同事問了一句：“我現(xiàn)在要做搜索結(jié)果全量導(dǎo)，該用哪個(gè)接口，性能要好的？”之前雖然是知道這三種方法都是可以做分頁的深度查詢，但是由于具體的代碼實(shí)現(xiàn)細(xì)節(jié)沒看過，...
-
Mysql binlog redolog與crash-safe
Part 1 What and Why 什么是redog和binlog? redolog是對記錄修改之后的物理日志，物理日志就是說redolog保存的是某一行數(shù)據(jù)修改之后的值...
-
ElasticSearch之跨集群實(shí)踐
背景：使用多個(gè)ES集群來存儲用戶日志，然后提供給運(yùn)營分析。日志采集架構(gòu)大概為nginx-->openresty-->kafka/aws kinesis-->es。但是國內(nèi)使用...
-
git日常之pull&request小技巧
新需求->開發(fā)->測試->pr->新需求....，應(yīng)該是大部分寫業(yè)務(wù)的程序員的日常了（架構(gòu)師除外）。本文主要講pr這一小步，也是作者痛定思痛之后學(xué)會(huì)的一個(gè)小技巧。 先說下背景...
-
Hi，很高興在@IT·互聯(lián)網(wǎng)專題遇見你。 收錄范圍：收錄IT&互聯(lián)網(wǎng)行業(yè)觀察與思考，數(shù)碼產(chǎn)品極客體驗(yàn)分析等類型文章 投稿須知：http://www.itdecent.cn/p/4edc76104c27 專題主編：@若錦 http://www.itdecent.cn/u/e4c63b354a77 官方社群：可聯(lián)系添加 @若錦 加入專題官方社群交流、學(xué)習(xí)，添加時(shí)備注簡書ID。
