引言 最近幾個(gè)月我們小組在做SQL拉數(shù)據(jù)相關(guān)的優(yōu)化工作，主要涉及Trino、ES、Lucene三個(gè)模塊的開(kāi)發(fā)優(yōu)化，具體優(yōu)化包括列存-行轉(zhuǎn)列讀取、序列化協(xié)議優(yōu)化、SQL字段Or...
IP屬地：貴州
-
SQL-Elasticsearch拉數(shù)據(jù)優(yōu)化 -
Maven 生命周期1. Maven 構(gòu)建生命周期 Maven 構(gòu)建生命周期就是 Maven 將一個(gè)整體任務(wù)劃分為一個(gè)個(gè)的階段，類似于流程圖，按順序依次執(zhí)行。也可以指定該任務(wù)執(zhí)行到中間的某個(gè)階段...
-
手寫簡(jiǎn)版倒排索引（Inverted Index）說(shuō)明 周末閑來(lái)無(wú)事花點(diǎn)時(shí)間，基于Lucene倒排索引的思想，使用Python簡(jiǎn)單實(shí)現(xiàn)了索引文檔與短語(yǔ)搜索的小功能，目的是幫助快速理解倒排索引的寫入與查詢的基本思想。 簡(jiǎn)單的小...
-
Docker容器調(diào)試應(yīng)用程序引言 因?yàn)镈ocker技術(shù)的火熱，因此在工作中我們經(jīng)常會(huì)以容器的方式來(lái)運(yùn)行一個(gè)應(yīng)用。每當(dāng)容器無(wú)法成功運(yùn)行或者想要對(duì)容器中的應(yīng)用參數(shù)、應(yīng)用配置以及應(yīng)用啟動(dòng)進(jìn)行深入研究時(shí)，當(dāng)然希...
-
hadoop1.0 安裝
集群規(guī)劃及環(huán)境 虛擬機(jī)安裝、網(wǎng)絡(luò)配置 安裝jdk 1.8 hadoop 1.2.1 安裝 5.修改配置文件 6.初始化hdfs 7.啟動(dòng)hadoop 8.配置創(chuàng)建軟連接 8....
-
VMware擴(kuò)展Centos虛擬機(jī)的硬盤引言 在近日的工作中，需要分析出用戶的一些行為習(xí)慣，因此，需要對(duì)日志做一個(gè)統(tǒng)計(jì)分析。首先要做的是將用戶的活躍度做個(gè)排序。因此，如何統(tǒng)計(jì)每個(gè)用戶上報(bào)的消息量，是首要解決的問(wèn)題。...
-
Elasticsearch Dangling Indices知識(shí)梳理背景 前段時(shí)間客戶根據(jù)看到的ES日志報(bào)了索引無(wú)法創(chuàng)建的Bug，研發(fā)工作完成差不多后，開(kāi)始梳理前線客戶Bug，調(diào)研后才發(fā)現(xiàn)原來(lái)是Dangling索引的問(wèn)題；這篇文檔算是對(duì)Dan...
-
Elasticsearch 獲取寫入Doc shardID的源碼分析前言 平時(shí)在研究ES的分布式Doc（文檔）寫入操作時(shí)，我們已經(jīng)知道對(duì)將要寫入的Doc，ES首先會(huì)計(jì)算其應(yīng)該寫入到索引的哪個(gè)分片，然后在根據(jù)集群metaData中的路由信息判斷...
