Checkpoint在分布式流處理框架的準(zhǔn)確性具有重要意義。Flink實現(xiàn)了基于Chandy-Lamport算法的checkpoint機制。在消息可靠性保障，集群升級等場景具...
發(fā)簡信
IP屬地：海南
-
Flink checkpoint流程源碼分析
-
死磕了《禪與摩托車修理藝術(shù)》
《禪與摩托車維修藝術(shù)》，看書名還以為是一個摩托車維修工在維修工作中禪性的領(lǐng)悟，在拿到這本書后我還逗趣的發(fā)了一條朋友圈，說：三月的第一本書，竟是藍(lán)翔的教科書。 主人公帶著兒...
-
ELK安裝和使用如果安裝ELK只是為了玩玩，可以單機搭建沒問題，但是真實業(yè)務(wù)運行時，必須考慮實用和效率問題。ES client節(jié)點： 作為ES節(jié)點的任務(wù)協(xié)調(diào)節(jié)點，所有來自kibana的請求，...
-
java正則表達(dá)式筆記
正則表達(dá)式是一種強大的字符串處理工具,平時經(jīng)常會用到。這里完整的做一次總結(jié)，以便查閱記憶。 1. 字符串中的正則表達(dá)式 使用正則表達(dá)式可以對字符串進(jìn)行查找、提取、分割、替換等...
-
發(fā)布-訂閱者模式和事件監(jiān)聽器模式訂閱者模式 訂閱者和發(fā)布者模式，通常用于消息隊列中。一般有兩種形式來實現(xiàn)消息隊列，一是使用生產(chǎn)者和消費者來實現(xiàn)，二是使用訂閱-發(fā)布者來實現(xiàn)。其中使用訂閱者和發(fā)布者實現(xiàn)消息隊列...
-
性能分析系列-小命令保證大性能最近在工作中經(jīng)常和性能壓測工作打交道，積累了一些性能分析經(jīng)驗，我覺得這些經(jīng)驗對每一個開發(fā)者都有幫助的，能開發(fā)出性能高的代碼也是我們的最終目標(biāo)。 由易到難，我們逐步介紹不同命令...
-
14：Spark Streaming源碼解讀之State管理之updateStateByKey和mapWithState解密
首先簡單解釋一下什么是state(狀態(tài))管理？我們以wordcount為例。每個batchInterval會計算當(dāng)前batch的單詞計數(shù)，那如果需要計算從流開始到目前為止的單...
