??自從Flink出了FlinkCDC之后,我們對(duì)數(shù)據(jù)庫日志的采集就變得方便了許多了,除去了MaxWell、Cannel、OGG等第三方組件的繁...
??有時(shí)候,我們需要去連接數(shù)據(jù)庫,然后統(tǒng)計(jì)下目標(biāo)庫表字段的值有多少個(gè)空值,并且計(jì)算出它的缺失率: ??這時(shí)候如果表中有幾個(gè)字段,并且總共統(tǒng)計(jì)的就...
??為了資源共用,我們的數(shù)據(jù)和上一篇文章一樣,這個(gè)實(shí)戰(zhàn)案例的技術(shù)和思想在現(xiàn)實(shí)開發(fā)的需求中還是比較常見的,以廣告為例子,需求是: 一、Kafka ...
??在之前的文章中我們使用 Flink 也實(shí)現(xiàn)過 topn 的案例;這里,為了溫習(xí) Spark 如何訪問 kafka 以及 DStream 的操...
??有時(shí)候?yàn)榱税踩覀兊臄?shù)據(jù)需要做一些加密操作,現(xiàn)實(shí)項(xiàng)目中也確實(shí)如此,加密的方式很多,那么我們今天就是用最常用的一種方式:AES加解密??這里...
??一般情況下,我們通用屬性一般都是寫在屬性文件中,然后通過configparser根據(jù)其鍵去獲取相對(duì)應(yīng)的值,還有就是字典中比較key和valu...
??Python作為腳本語言,比shell和其它腳本更加好用,主要是Python提供了豐富的類庫,現(xiàn)在越來越多的框架都開啟了PyAPI,特別是機(jī)...
??我們實(shí)時(shí)的流處理入 ElasticSearch 中還是比較麻煩的,雖然說 flink 提供了相關(guān)的 sink 接口,但是一般來說僅僅是簡單的...
??這個(gè)案例是建立在上一篇的基礎(chǔ)之上,之所以做總結(jié)是因?yàn)榫W(wǎng)上很多都只是簡單的調(diào)用API而已,根本找不到優(yōu)化過后的 sink 自定義方法,顯示的生...