發(fā)簡(jiǎn)信
IP屬地：廣東
-
Flink SQL 實(shí)戰(zhàn)之 MAP 類型在 UNION ALL 中的妙用
前言 工作當(dāng)中我們往往會(huì)遇到這樣的需求場(chǎng)景：某張表中不同的統(tǒng)計(jì)指標(biāo)，需要從多個(gè)不同的 kafka 數(shù)據(jù)源當(dāng)中統(tǒng)計(jì)。這種做法，我們很容易想到把多個(gè)...
-
Flink State機(jī)制源碼解析在流計(jì)算中，事件會(huì)持續(xù)不斷的產(chǎn)生，如果每次計(jì)算都是相互獨(dú)立的，不依賴于上下游事件，則稱為無狀態(tài) (stateless) 計(jì)算；如果每次的計(jì)算依賴...
-
Flink如何管理Kafka 消費(fèi)位點(diǎn)(譯文)Checkpointing 是 Flink 故障恢復(fù)的內(nèi)部機(jī)制。一個(gè) checkpoint 就是 Flink應(yīng)用程序產(chǎn)生的狀態(tài)的一個(gè)副本。如果 ...
-
Windows環(huán)境下編譯Flink文檔
環(huán)境準(zhǔn)備 安裝Docker for Windows安裝方法可以參考Docker官方文檔[https://docs.docker.com/dock...
-
Flink-CDC(Change Data Capture)指定位點(diǎn)消費(fèi)binlog
前言： Flink從1.10開始支持從canal或者debezium消費(fèi)binlog數(shù)據(jù)，從而實(shí)現(xiàn)數(shù)據(jù)的同步；但是無論是canal和debezi...
-
解決Flink1.11.0不能指定SQL任務(wù)JobName問題前言： Flink最近剛發(fā)布了1.11.0版本，由于加了很多新的功能，對(duì)sql的支持更加全面，我就迫不及待的在本地運(yùn)行了個(gè)demo，但是運(yùn)行的時(shí)...
-
不借助于Flink集群，如何讓任務(wù)本地執(zhí)行
前言：在做flink實(shí)時(shí)計(jì)算平臺(tái)的時(shí)候，我遇到過這樣一個(gè)問題，在執(zhí)行sql任務(wù)的時(shí)候，我們需要預(yù)先創(chuàng)建一些Table,View，甚至是funct...
-
Flink知識(shí)圖譜整理 - 基本概念和架構(gòu)Streaming Processing Concepts(流處理基本概念) Bounded and UnBounded Data and Pr...