??自從Flink出了FlinkCDC之后,我們對數(shù)據(jù)庫日志的采集就變得方便了許多了,除去了MaxWell、Cannel、OGG等第三方組件的繁...
??有時候,我們需要去連接數(shù)據(jù)庫,然后統(tǒng)計下目標(biāo)庫表字段的值有多少個空值,并且計算出它的缺失率: ??這時候如果表中有幾個字段,并且總共統(tǒng)計的就...
??為了資源共用,我們的數(shù)據(jù)和上一篇文章一樣,這個實戰(zhàn)案例的技術(shù)和思想在現(xiàn)實開發(fā)的需求中還是比較常見的,以廣告為例子,需求是: 一、Kafka ...
??在之前的文章中我們使用 Flink 也實現(xiàn)過 topn 的案例;這里,為了溫習(xí) Spark 如何訪問 kafka 以及 DStream 的操...
??有時候為了安全,我們的數(shù)據(jù)需要做一些加密操作,現(xiàn)實項目中也確實如此,加密的方式很多,那么我們今天就是用最常用的一種方式:AES加解密??這里...
??一般情況下,我們通用屬性一般都是寫在屬性文件中,然后通過configparser根據(jù)其鍵去獲取相對應(yīng)的值,還有就是字典中比較key和valu...
??Python作為腳本語言,比shell和其它腳本更加好用,主要是Python提供了豐富的類庫,現(xiàn)在越來越多的框架都開啟了PyAPI,特別是機...
??我們實時的流處理入 ElasticSearch 中還是比較麻煩的,雖然說 flink 提供了相關(guān)的 sink 接口,但是一般來說僅僅是簡單的...
??這個案例是建立在上一篇的基礎(chǔ)之上,之所以做總結(jié)是因為網(wǎng)上很多都只是簡單的調(diào)用API而已,根本找不到優(yōu)化過后的 sink 自定義方法,顯示的生...