發(fā)簡信
IP屬地：北京
-
亂墳地里的黃大仙
七十年代，我們村東頭有個(gè)毛筆廠，做各種各樣的毛筆，遠(yuǎn)銷很多地方。做毛筆要用到兔毛，所以遠(yuǎn)近有很多養(yǎng)兔子薅兔毛的人家。但上好的毛筆，要用狼毫來做，...
-
Flink詳解系列之九--反壓機(jī)制和處理反壓是什么 反壓是在實(shí)時(shí)數(shù)據(jù)處理中，數(shù)據(jù)管道某個(gè)節(jié)點(diǎn)上游產(chǎn)生數(shù)據(jù)的速度大于該節(jié)點(diǎn)處理數(shù)據(jù)速度的一種現(xiàn)象。反壓會從該節(jié)點(diǎn)向上游傳遞，一直到數(shù)據(jù)源，...
-
Flink詳解系列之八--Checkpoint和Savepoint一、Checkpoint 獲取分布式數(shù)據(jù)流和算子狀態(tài)的一致性快照是Flink容錯(cuò)機(jī)制的核心，這些快照在Flink作業(yè)恢復(fù)時(shí)作為一致性檢查點(diǎn)存在。...
-
Flink詳解之七--狀態(tài)管理
一、概念 實(shí)時(shí)處理中的很多操作都是一次對單個(gè)事件做處理，也有一些操作需要?dú)v史事件的信息，這些操作被稱為有狀態(tài)的。也就是說，所謂的狀態(tài)就是由歷史事...
-
flink算子：union和connect
在合并數(shù)據(jù)流時(shí)，可以使用union和connect兩種算子，兩者的使用方式如下。 union 1、可以合并兩個(gè)以上的數(shù)據(jù)流；2、合并的各實(shí)時(shí)流數(shù)...
-
Flink詳解系列之六--窗口機(jī)制窗口是flink處理無限流的核心,窗口將流拆分為有限大小的“桶”，我們可以在這些桶上進(jìn)行計(jì)算。 1、Keyed vs Non-Keyed Win...
-
Flink詳解系列之五--水位線（watermark）1、概念 在Flink中，水位線是一種衡量Event Time進(jìn)展的機(jī)制，用來處理實(shí)時(shí)數(shù)據(jù)中的亂序問題的，通常是水位線和窗口結(jié)合使用來實(shí)現(xiàn)。 從...
-
Flink詳解系列之四--時(shí)間在流處理場景中，處理的是持續(xù)到達(dá)且可能是無窮的事件流，時(shí)間在這樣的應(yīng)用中是最核心的要素。Flink定義了三種時(shí)間類型： 事件時(shí)間（Event T...
-
Flink詳解系列之二--核心概念一、流處理 在自然環(huán)境中，數(shù)據(jù)的產(chǎn)生原本就是流式的。無論是來自 Web 服務(wù)器的事件數(shù)據(jù)，證券交易所的交易數(shù)據(jù)，還是來自工廠車間機(jī)器上的傳感器數(shù)...