前言 單指令流多數(shù)據(jù)流(SIMD)及其衍生出來的向量化處理技術(shù)已經(jīng)有了相當(dāng)?shù)臍v史,并且也是高性能數(shù)據(jù)庫、計(jì)算引擎、多媒體庫等組件的標(biāo)配利器。筆者在兩年多前曾經(jīng)做過一次有關(guān)該主...
前言 長久以來,在YARN集群中部署Flink作業(yè)有兩種模式,即Session Mode和Per-Job Mode,而在Flink 1.11版本中,又引入了第三種全新的模式:...
前言 很久沒寫過源碼走讀類型的文章了。最近在做業(yè)務(wù)需求時(shí)用Flink的State TTL非常多,今天就來探索一下吧。 從Flink 1.6版本開始,社區(qū)為狀態(tài)引入了TTL(t...
Flink系列文檔腦圖 由于源碼分析系列文檔較多,本人繪制了Flink文檔腦圖。和下面的文檔目錄對應(yīng)。各位讀者可以選擇自己感興趣的模塊閱讀并參與討論。 此腦圖不定期更新中……...
前言 最近在進(jìn)行StarRocks與數(shù)據(jù)湖集成方面的一些工作(重點(diǎn)是SR 3.2與Paimon 0.6的適配),同時(shí)閱讀和修改了部分代碼,發(fā)現(xiàn)StarRocks JNI Co...
前言 為了解決Flink作業(yè)使用RocksDB狀態(tài)后端時(shí)的內(nèi)存超用問題,F(xiàn)link早在1.10版本就實(shí)現(xiàn)了RocksDB的托管內(nèi)存(managed memory)機(jī)制。用戶只...
樓主,期待下篇??????
Flink SQL w/ Blink Planner執(zhí)行流程解析(上篇)Foreword 大數(shù)據(jù)領(lǐng)域SQL化的風(fēng)潮方興未艾(所謂"Everybody knows SQL"),F(xiàn)link自然也不能“免俗”。Flink SQL是Flink系統(tǒng)內(nèi)部最高...
Foreword 大數(shù)據(jù)領(lǐng)域SQL化的風(fēng)潮方興未艾(所謂"Everybody knows SQL"),F(xiàn)link自然也不能“免俗”。Flink SQL是Flink系統(tǒng)內(nèi)部最高...
前言 好久不見(鞠躬 最近處在轉(zhuǎn)型期,每天忙到飛起,關(guān)注具體技術(shù)細(xì)節(jié)的精力自然就比較少了(上一篇許下的周更承諾也食言了 = =)。上周幫助他人快速解決了一個(gè)因誤用Flink狀...
本文首發(fā)于泊浮目的簡書[http://www.itdecent.cn/u/204b8aaab8ba]:http://www.itdecent.cn/u/204b8aaab...
Data Enrichment 在流式處理作業(yè)(特別是實(shí)時(shí)數(shù)倉ETL作業(yè))中,我們的數(shù)據(jù)流可以視為無界事實(shí)表,其中往往缺乏一些維度信息。例如,對于埋點(diǎn)日志流而言,為了減少傳輸...
前言 祝廣大女性節(jié)日快樂~ 快問快答 Flink DataStream API中的RichFunction有哪些用途/特點(diǎn)?RichFunction中獲取到的RuntimeC...
前言 這篇從半個(gè)月前就開始寫,斷斷續(xù)續(xù)寫到現(xiàn)在,終于能發(fā)了(被簡書吞了好幾次),不容易。 最近筆者正在補(bǔ)習(xí)與RocksDB底層相關(guān)的細(xì)節(jié),因?yàn)椋?次要原因——當(dāng)前所有Flin...
背景 Flink SQL的window計(jì)算除了window結(jié)束后觸發(fā)計(jì)算之外,還支持中途輸出window中間累加結(jié)果以及對遲到的數(shù)據(jù)修正window累加結(jié)果(以回撤形式輸出:...