Checkpointing 是 Flink 故障恢復(fù)的內(nèi)部機制。一個 checkpoint 就是 Flink應(yīng)用程序產(chǎn)生的狀態(tài)的一個副本。如果 Flink 任務(wù)發(fā)生故障，它會...
發(fā)簡信
IP屬地：廣東
-
Flink如何管理Kafka 消費位點(譯文) -
Flink SQL 實戰(zhàn)之 MAP 類型在 UNION ALL 中的妙用
前言 工作當(dāng)中我們往往會遇到這樣的需求場景：某張表中不同的統(tǒng)計指標(biāo)，需要從多個不同的 kafka 數(shù)據(jù)源當(dāng)中統(tǒng)計。這種做法，我們很容易想到把多個 kafka source 統(tǒng)...
-
Mysql的幾個靈魂拷問（五）這一篇繼續(xù)講SQL的優(yōu)化問題，在常規(guī)應(yīng)用開發(fā)中，Mysql的單表性能都是夠用的，從量級來看，一般以整型值為主的表在千萬級以下，字符串為主的表在五百萬以下Mysql都是可以的，...
-
Flink State機制源碼解析在流計算中，事件會持續(xù)不斷的產(chǎn)生，如果每次計算都是相互獨立的，不依賴于上下游事件，則稱為無狀態(tài) (stateless) 計算；如果每次的計算依賴于之前或者后續(xù)的事件，則稱為有...
-
從一段 Dubbo 源碼到 CPU 分支預(yù)測的一次探險之旅
從一段 Dubbo 源碼到 CPU 分支預(yù)測的一次探險之旅 每個時代，都不會虧待會學(xué)習(xí)的人。 大家好，我是 yes。 說來也是巧最近在看 Dubbo 源碼，然后發(fā)現(xiàn)了一處很奇...
-
建設(shè)實時數(shù)倉之前的思考與方案記錄前言 隨著這次新冠疫情帶來的機遇，我司業(yè)務(wù)飛速增長，實時數(shù)倉的建設(shè)已經(jīng)提上了日程。雖然還沒有正式開始實施，但是汲取前人的經(jīng)驗，做好萬全的準(zhǔn)備總是必要的。本文簡單松散地記錄一下...
-
深入理解Java內(nèi)存模型java內(nèi)存模型(Java Memory Model，JMM)是java虛擬機規(guī)范定義的，用來屏蔽掉java程序在各種不同的硬件和操作系統(tǒng)對內(nèi)存的訪問的差異，這樣就可以實現(xiàn)j...
-
深入理解Flink的輕量級異步屏障快照（ABS）算法Prologue 在很久之前，筆者曾簡單介紹了Chandy-Lamport分布式快照算法，如果看官還未讀過，建議作為前置知識補充一下。 用過Flink的人都會知道檢查點機制有...
