1.序篇-本文結(jié)構(gòu) 本文從以下五個(gè)小節(jié)介紹 flink sql source\sink\format 的概念、原理。 背景篇-關(guān)于 sql 定義篇-sql source、si...
發(fā)簡(jiǎn)信
IP屬地：湖北
-
Flink SQL 知其所以然（一）| source\sink 原理 -
生產(chǎn)實(shí)踐 | Flink + 直播（二）| 如何建設(shè)實(shí)時(shí)公共畫(huà)像維表？本系列每篇文章都是從一些實(shí)際生產(chǎn)實(shí)踐需求出發(fā)，解決一些生產(chǎn)實(shí)踐中的問(wèn)題，拋磚引玉，以幫助小伙伴們解決一些實(shí)際生產(chǎn)問(wèn)題。本篇文章主要介紹直播間畫(huà)像實(shí)時(shí)維表建設(shè)的整個(gè)過(guò)程，如果對(duì)...
-
踩坑記 | Flink 天級(jí)別窗口中存在的時(shí)區(qū)問(wèn)題本系列每篇文章都是從一些實(shí)際的 case 出發(fā)，分析一些生產(chǎn)環(huán)境中經(jīng)常會(huì)遇到的問(wèn)題，拋磚引玉，以幫助小伙伴們解決一些實(shí)際問(wèn)題。本文介紹 Flink 時(shí)間以及時(shí)區(qū)問(wèn)題，分析了在...
-
Tips | Flink 使用 union 代替 join、cogroup
本系列每篇文章都比較短小，不定期更新，從一些實(shí)際的 case 出發(fā)拋磚引玉，提高小伙伴的姿♂勢(shì)水平。本文介紹在滿(mǎn)足原有需求、實(shí)現(xiàn)原有邏輯的場(chǎng)景下，在 Flink 中使用 un...
-
Tips | Flink sink schema 字段設(shè)計(jì)小技巧
本系列每篇文章都比較短小，不定期更新，從一些實(shí)際的 case 出發(fā)拋磚引玉，提高小伙伴的姿♂勢(shì)水平。本文介紹 Flink sink schema 字段設(shè)計(jì)小技巧，閱讀時(shí)長(zhǎng)大概...
-
踩坑記 | Flink 事件時(shí)間語(yǔ)義下數(shù)據(jù)亂序丟數(shù)踩坑
mangodata: 本文詳細(xì)介紹了在上游使用處理時(shí)間語(yǔ)義的 flink 任務(wù)出現(xiàn)故障后，重啟消費(fèi)大量積壓在上游的數(shù)據(jù)并產(chǎn)出至下游數(shù)據(jù)亂序特別嚴(yán)重時(shí)，下游 flink 任務(wù)使...
-
生產(chǎn)實(shí)踐 | 基于 Flink 的短視頻生產(chǎn)消費(fèi)監(jiān)控
本文詳細(xì)介紹了實(shí)時(shí)監(jiān)控類(lèi)指標(biāo)的數(shù)據(jù)流轉(zhuǎn)鏈路以及技術(shù)方案，大多數(shù)的實(shí)時(shí)監(jiān)控類(lèi)指標(biāo)都可按照本文中的幾種方案實(shí)現(xiàn)。 短視頻生產(chǎn)消費(fèi)監(jiān)控 短視頻帶來(lái)了全新的傳播場(chǎng)域和節(jié)目形態(tài)，小屏幕...
-
flink 學(xué)習(xí)筆記 — 自定義 Sink 函數(shù)
flink Sink簡(jiǎn)介 flink 中有兩個(gè)重要的概念，Source 和 Sink ，Source 決定了我們的數(shù)據(jù)從哪里產(chǎn)生，而 Sink 決定了數(shù)據(jù)將要去到什么地方。 ...
