說明 CentOS7是廣泛使用的Linux發(fā)行版之一，而Python3則是當(dāng)前最流行的編程語言之一。CentOS7系統(tǒng)中一般自帶python2版本，而由于許多應(yīng)用程序依賴py...
IP屬地：貴州
-
CentOS7 安裝python3.12.4
-
SQL-Elasticsearch拉數(shù)據(jù)優(yōu)化引言 最近幾個(gè)月我們小組在做SQL拉數(shù)據(jù)相關(guān)的優(yōu)化工作，主要涉及Trino、ES、Lucene三個(gè)模塊的開發(fā)優(yōu)化，具體優(yōu)化包括列存-行轉(zhuǎn)列讀取、序列化協(xié)議優(yōu)化、SQL字段Or...
-
Flink1.14.4 集群安裝前言 因公司需要驗(yàn)證FlinkCDC的能力，而且要求按照最終的生產(chǎn)模式去部署，因此對安裝過程做個(gè)記錄，小白請多指教~ 一、集群規(guī)劃 二、部署Flink集群 1.版本選擇 2....
-
Hadoop集群安裝記錄
前言 因工作需要驗(yàn)證FlinkCDC相關(guān)功能，F(xiàn)link的checkpoint 信息可以放到Hdfs上，因此想部署一套Hadoop進(jìn)行驗(yàn)證，鑒于之前部署的都沒有做記錄，本次安...
-
Maven 生命周期1. Maven 構(gòu)建生命周期 Maven 構(gòu)建生命周期就是 Maven 將一個(gè)整體任務(wù)劃分為一個(gè)個(gè)的階段，類似于流程圖，按順序依次執(zhí)行。也可以指定該任務(wù)執(zhí)行到中間的某個(gè)階段...
-
trie樹用得很溜啊
手寫簡版倒排索引（Inverted Index）
說明 周末閑來無事花點(diǎn)時(shí)間，基于Lucene倒排索引的思想，使用Python簡單實(shí)現(xiàn)了索引文檔與短語搜索的小功能，目的是幫助快速理解倒排索引的寫入與查詢的基本思想。 簡單的小...
-
手寫簡版倒排索引（Inverted Index）說明 周末閑來無事花點(diǎn)時(shí)間，基于Lucene倒排索引的思想，使用Python簡單實(shí)現(xiàn)了索引文檔與短語搜索的小功能，目的是幫助快速理解倒排索引的寫入與查詢的基本思想。 簡單的小...
-
Docker容器調(diào)試應(yīng)用程序引言 因?yàn)镈ocker技術(shù)的火熱，因此在工作中我們經(jīng)常會以容器的方式來運(yùn)行一個(gè)應(yīng)用。每當(dāng)容器無法成功運(yùn)行或者想要對容器中的應(yīng)用參數(shù)、應(yīng)用配置以及應(yīng)用啟動進(jìn)行深入研究時(shí)，當(dāng)然希...
-
Elasticsearch Dangling Indices知識梳理背景 前段時(shí)間客戶根據(jù)看到的ES日志報(bào)了索引無法創(chuàng)建的Bug，研發(fā)工作完成差不多后，開始梳理前線客戶Bug，調(diào)研后才發(fā)現(xiàn)原來是Dangling索引的問題；這篇文檔算是對Dan...
-
Elasticsearch 獲取寫入Doc shardID的源碼分析前言 平時(shí)在研究ES的分布式Doc（文檔）寫入操作時(shí)，我們已經(jīng)知道對將要寫入的Doc，ES首先會計(jì)算其應(yīng)該寫入到索引的哪個(gè)分片，然后在根據(jù)集群metaData中的路由信息判斷...
-
Elasticsearch Write Debug 詳細(xì)記錄Debug說明 記錄ES寫入數(shù)據(jù)的整個(gè)Debug流程，具體實(shí)現(xiàn)細(xì)節(jié)沒有做過多解釋說明 Debug的索引，設(shè)置1shard、0replicas，便于理清主線 先創(chuàng)建索引，其次再...
-
VMware擴(kuò)展Centos虛擬機(jī)的硬盤引言 在近日的工作中，需要分析出用戶的一些行為習(xí)慣，因此，需要對日志做一個(gè)統(tǒng)計(jì)分析。首先要做的是將用戶的活躍度做個(gè)排序。因此，如何統(tǒng)計(jì)每個(gè)用戶上報(bào)的消息量，是首要解決的問題。...
