前兩天突然被業(yè)務(wù)部的同事問(wèn)了一句:“我現(xiàn)在要做搜索結(jié)果全量導(dǎo),該用哪個(gè)接口,性能要好的?”之前雖然是知道這三種方法都是可以做分頁(yè)的深度查詢,但是由于具體的代碼實(shí)現(xiàn)細(xì)節(jié)沒(méi)看過(guò),...
前兩天突然被業(yè)務(wù)部的同事問(wèn)了一句:“我現(xiàn)在要做搜索結(jié)果全量導(dǎo),該用哪個(gè)接口,性能要好的?”之前雖然是知道這三種方法都是可以做分頁(yè)的深度查詢,但是由于具體的代碼實(shí)現(xiàn)細(xì)節(jié)沒(méi)看過(guò),...
環(huán)境準(zhǔn)備 git maven jdk 8u51及以上 flink1.9源碼 編譯 Flink針對(duì)不同Hadoop版本編譯方法不一樣,請(qǐng)根據(jù)自己的情況自行選擇 已預(yù)編譯好的Ha...
MyBatis Generator (MBG) 是由一個(gè)XML配置文件驅(qū)動(dòng)的。這個(gè)配置文件中會(huì)聲明以下內(nèi)容: 如何連接數(shù)據(jù)庫(kù) 要生成什么對(duì)象,以及如何生成它們 哪些表需要應(yīng)用...
1. Nxlog 模塊簡(jiǎn)介 在之前的文章當(dāng)中我已經(jīng)提到過(guò) Nxlog 的 module 共分為4種,它們分別是 input, output, processor, exten...
1. NXLog 簡(jiǎn)介 nxlog 是用 C 語(yǔ)言寫(xiě)的一個(gè)開(kāi)源日志收集處理軟件,它是一個(gè)模塊化、多線程、高性能的日志管理解決方案,支持多平臺(tái)。今天我主要分析一下 nxlog ...
1. 用戶空間 通常 32 位 Linux 虛擬地址空間劃分, 0-3GB為用戶空間,3GB-4GB為內(nèi)核空間。每個(gè)進(jìn)程都有4GB的虛擬地址空間,其中0-3GB是自己私有的用...
logstash設(shè)計(jì)了一種叫l(wèi)umberjack的日志傳輸。同時(shí)兼顧了性能、可靠、靈活等優(yōu)點(diǎn)。本文從協(xié)議的角度分析一下,lumberjack是如何設(shè)計(jì)的。 首先,日志傳輸是基...
如何監(jiān)控Elasticsearch(一)[http://www.itdecent.cn/p/c8cbba119b9a]如何監(jiān)控Elasticsearch(二)[https:...
本文探討在大規(guī)模日志數(shù)據(jù)收集過(guò)程中,針對(duì)日志文件的處理需要注意的技術(shù)細(xì)節(jié)。 1. 通配符和目錄遞歸搜索 大多數(shù)場(chǎng)景下,日志往往被分散在不同的目錄中,比如以日期為名的目錄。因此...