前言 抱歉起這種爛大街的日本輕小說風(fēng)格標(biāo)題來吸引注意力。原本我認(rèn)為這是常識(shí)，不需要專門寫一篇文章來講解如此細(xì)碎的點(diǎn)。但是在最近工作巡檢中發(fā)現(xiàn)了越來越多如同ValueState...
IP屬地：廣東
-
關(guān)于使用Flink RocksDB狀態(tài)后端時(shí)一定要寫MapState而非ValueState<Map>這檔事（以及解決方法） -
基于Calcite解析Flink SQL列級(jí)數(shù)據(jù)血緣數(shù)據(jù)血緣 數(shù)據(jù)血緣（data lineage）是數(shù)據(jù)治理（data governance）的重要組成部分，也是元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量管理的有力工具。通俗地講，數(shù)據(jù)血緣就是數(shù)據(jù)在...
-
淺談軟件工程中的Shim什么是Shim Shim一詞的原本含義是“墊片”或者“楔子”，而首先將這個(gè)詞應(yīng)用到軟件工程領(lǐng)域的似乎是微軟。根據(jù)Wikipedia的總結(jié)： A shim is a libra...
-
無鎖并發(fā)快照在Flink MySQL CDC 2.0中的實(shí)現(xiàn)前言 本文是兩個(gè)月前參加黑馬比賽時(shí)寫了一半的，為了避免爛尾，今天補(bǔ)全發(fā)出來。 Flink CDC經(jīng)過長(zhǎng)時(shí)間的發(fā)展，目前無疑是實(shí)現(xiàn)數(shù)據(jù)源端Pipeline的最簡(jiǎn)單直接的方式。而...
-
本地IDEA提交Flink/Spark任務(wù)到集群的工具
Flink任務(wù)、Spark任務(wù)提交到集群，通常需要將可執(zhí)行Jar上傳到集群，手動(dòng)執(zhí)行任務(wù)提交指令，如果有配套的大數(shù)據(jù)平臺(tái)則需要上傳Jar，由調(diào)度系統(tǒng)進(jìn)行任務(wù)提交。對(duì)開發(fā)者來說...
