8月份 FlinkCDC 發(fā)布2.0.0版本，相較于1.0版本，在全量讀取階段支持分布式讀取、支持checkpoint，且在全量 + 增量讀取的...
投稿
收錄了73篇文章 · 110人關(guān)注
-
Flink CDC 2.0 批流融合技術(shù)原理分析 -
Flink SQL 擴(kuò)展維表 Keyby 的三種實(shí)現(xiàn)方式背景 Flink LookupTableSource 通過(guò)使用流數(shù)據(jù)的一列或者多列的值，加載外部存儲(chǔ)數(shù)據(jù)（維表數(shù)據(jù)），進(jìn)而完成對(duì)流數(shù)據(jù)的字段擴(kuò)展...
-
Flink Streaming File Sink背景 Flink 支持將流數(shù)據(jù)以文件形式存儲(chǔ)到外部系統(tǒng)，典型使用場(chǎng)景是將數(shù)據(jù)寫(xiě)入Hive表所在 HDFS存儲(chǔ)路徑，通過(guò)Hive 做查詢分析。隨著...
-
Flink 分布式緩存原理及使用背景 在1.9.1版本中分布式緩存并未拷貝HDFS下的文件到TM，運(yùn)行時(shí)拋出如下異常。 升級(jí)到1.10.1版本，能正常使用。借此，學(xué)習(xí)下Flin...
-
Flink中實(shí)用的小知識(shí)點(diǎn)整理
目錄 1、Flink使用WaterMark處理亂序事件2、累加器和計(jì)數(shù)器3、Window使用4、流的切分和合并5、任務(wù)鏈6、Flink消費(fèi)kaf...
-
Flink系列 - 實(shí)時(shí)數(shù)倉(cāng)之ETL實(shí)戰(zhàn)（二）一、概述 ??上一篇實(shí)戰(zhàn)中我們已經(jīng)使用ogg實(shí)現(xiàn)了mysql數(shù)據(jù)以json的格式同步到了kafka里邊去了，也就是說(shuō)我們的源端的埋點(diǎn)的數(shù)據(jù)已經(jīng)處...
-
Flink系列 - 實(shí)時(shí)數(shù)倉(cāng)之熱門(mén)商品統(tǒng)計(jì)-TopN（三）??作為一名初學(xué)者來(lái)說(shuō)，F(xiàn)link 的各種API著實(shí)使人頭暈亂象，建以這種情況，今天總結(jié)下：熱門(mén)商品的統(tǒng)計(jì)。接下來(lái)我們先看下數(shù)據(jù)源的格式（這里為...
-
Flink系列 - 實(shí)時(shí)數(shù)倉(cāng)之電商訂單支付實(shí)時(shí)對(duì)賬（六）
??平時(shí)我們都是用過(guò)電商平臺(tái)購(gòu)買(mǎi)商品，當(dāng)我們購(gòu)買(mǎi)某個(gè)商品之后會(huì)有提示購(gòu)買(mǎi)成功或者失敗，那么這玩意在系統(tǒng)后臺(tái)是如何處理訂單的實(shí)時(shí)對(duì)賬呢？？？接下來(lái)...
-
Flink系列 - 實(shí)時(shí)數(shù)倉(cāng)之CEP預(yù)警實(shí)戰(zhàn)（五）
??CEP 即Complex Event Processing - 復(fù)雜事件，F(xiàn)link CEP 是在 Flink 中實(shí)現(xiàn)的復(fù)雜時(shí)間處理(CEP...
-
Flink Time和Watermark的理解Flink Time和Watermark的理解 1. Time 背景 在實(shí)際開(kāi)發(fā)過(guò)程中，我們可能需要接入各種流數(shù)據(jù)源，比如在線業(yè)務(wù)用戶點(diǎn)擊流數(shù)據(jù)...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1848176/B1010CDED54B4D92A6ABDCC44E7EEC2C.jpg', '推薦專題《Flink專題》（ 分享自 @簡(jiǎn)書(shū) ）','http://www.itdecent.cn/c/9cd9ea030c19?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁(yè)面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}