說明 官方一直在強(qiáng)調(diào)的一些字眼： Unlike other logging systems only indexing metadata S3 or GCS cheaper ...
發(fā)簡(jiǎn)信
IP屬地：浙江
-
Loki 日志系統(tǒng)分布式部署實(shí)踐九 使用場(chǎng)景
-
Loki 日志系統(tǒng)分布式部署實(shí)踐八 排錯(cuò)
說明 日志新貴 loki 很香？那么看了這篇排錯(cuò)后或許你不這么想了。 github 社區(qū)很不作為，大多 issue 都沒解決，都是自動(dòng)關(guān)閉掉了 日志報(bào)錯(cuò)相當(dāng)模糊，沒有邊界，無...
-
典型日志系統(tǒng)架構(gòu)及其缺點(diǎn)典型日志系統(tǒng)架構(gòu) 典型的日志架構(gòu)如圖所示，簡(jiǎn)單介紹下基本流程 日志通過filebeat或者api寫入到kafka或者其它隊(duì)列系統(tǒng)，這個(gè)隊(duì)列通常是企業(yè)內(nèi)部的流數(shù)據(jù)總線 從kaf...
-
本博客所有內(nèi)容均適用知識(shí)共享-署名-相同方式共享（CC-BY-SA）4.0協(xié)議。
-
日志平臺(tái)的核心需求
簡(jiǎn)單總結(jié)下日志平臺(tái)的核心需求，至少有以下2點(diǎn)： 1、數(shù)據(jù)分析 數(shù)據(jù)分析又分成2類，一類是預(yù)先定義好的分析邏輯，另一類是即時(shí)的，突發(fā)奇想的分析adhoc 預(yù)先定義好的分析邏輯，...
-
記錄一次Flink作業(yè)異常的排查過程最近2周開始接手apache flink全鏈路監(jiān)控?cái)?shù)據(jù)的作業(yè)，包括指標(biāo)統(tǒng)計(jì)，業(yè)務(wù)規(guī)則匹配等邏輯，計(jì)算結(jié)果實(shí)時(shí)寫入elasticsearch. 昨天遇到生產(chǎn)環(huán)境有作業(yè)無法正常重...
-
spark structedStreaming是如何實(shí)現(xiàn)容錯(cuò)的sss如何實(shí)現(xiàn)eoc的 spark structed Streaming簡(jiǎn)稱sss，它主要還是采用微批的模式提供端到端的eoc(exactly-once)語義，要實(shí)現(xiàn)eoc，...
-
一位愛好文學(xué)的資深程序開發(fā)工程師。熱愛工作又極度顧家的有為社會(huì)青年。<br><br>帶貨 <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fasktug.com%2F" target="_blank">https://asktug.com/</a>
-
-
日志平臺(tái)設(shè)計(jì)時(shí)考慮的一些問題
日志其實(shí)也是一種時(shí)序數(shù)據(jù)，在典型的opentsdb中，時(shí)序數(shù)據(jù)模型包括metricname,value,ts（tiimestamp）以及若干tagkey,tagvalue這些...
-
日志平臺(tái)的一點(diǎn)思考
我對(duì)日志平臺(tái)的理解 日志平臺(tái)的對(duì)開發(fā)、運(yùn)維人員的幫助是非常大的，它可以方便開發(fā)、運(yùn)維人員快速定位問題，從這個(gè)角度，日志平臺(tái)是個(gè)搜索平臺(tái)；同時(shí)還可以做有效的數(shù)據(jù)分析，比如分析 ...
-
使用spray json的一點(diǎn)小經(jīng)驗(yàn)
一個(gè)scala常用的json工具 java里面的fastjson,gson,和Jackson是我最熟悉的json序列化框架，用起來沒什么問題，接觸了scala之后，我看到很多...
-
一種快速生成UUID的方式
java8的uuid生成方式比較方便，但是速度不夠快UUID.randomUUID().toString()我在自己電腦虛擬機(jī)上進(jìn)行測(cè)試4core，8G，2.5GHZ虛擬機(jī)，...
