發(fā)簡信
IP屬地：江西
-
Flink系列 - 實(shí)時(shí)數(shù)倉之FlinkCDC實(shí)現(xiàn)動(dòng)態(tài)分流實(shí)戰(zhàn)（十）??自從Flink出了FlinkCDC之后，我們對(duì)數(shù)據(jù)庫日志的采集就變得方便了許多了，除去了MaxWell、Cannel、OGG等第三方組件的繁...
-
Python腳本之根據(jù)excel統(tǒng)計(jì)表中字段值的缺失率實(shí)用案例（四）??有時(shí)候，我們需要去連接數(shù)據(jù)庫，然后統(tǒng)計(jì)下目標(biāo)庫表字段的值有多少個(gè)空值，并且計(jì)算出它的缺失率： ??這時(shí)候如果表中有幾個(gè)字段，并且總共統(tǒng)計(jì)的就...
-
Spark系列 - 實(shí)時(shí)數(shù)倉之近1小時(shí)各個(gè)廣告點(diǎn)擊量實(shí)戰(zhàn)（三）??為了資源共用，我們的數(shù)據(jù)和上一篇文章一樣，這個(gè)實(shí)戰(zhàn)案例的技術(shù)和思想在現(xiàn)實(shí)開發(fā)的需求中還是比較常見的，以廣告為例子，需求是： 一、Kafka ...
-
Spark系列 - 實(shí)時(shí)數(shù)倉之top3熱門廣告實(shí)戰(zhàn)（二）??在之前的文章中我們使用 Flink 也實(shí)現(xiàn)過 topn 的案例；這里，為了溫習(xí) Spark 如何訪問 kafka 以及 DStream 的操...
-
Python腳本之AES加解密實(shí)用案例（三）??有時(shí)候?yàn)榱税踩覀兊臄?shù)據(jù)需要做一些加密操作，現(xiàn)實(shí)項(xiàng)目中也確實(shí)如此，加密的方式很多，那么我們今天就是用最常用的一種方式：AES加解密??這里...
-
Python腳本之configparser與執(zhí)行shell腳本實(shí)用案例（二）
??一般情況下，我們通用屬性一般都是寫在屬性文件中，然后通過configparser根據(jù)其鍵去獲取相對(duì)應(yīng)的值，還有就是字典中比較key和valu...
-
Python腳本之解析Base64實(shí)用案例（一）??Python作為腳本語言，比shell和其它腳本更加好用，主要是Python提供了豐富的類庫，現(xiàn)在越來越多的框架都開啟了PyAPI，特別是機(jī)...
-
Flink系列 - 實(shí)時(shí)數(shù)倉之?dāng)?shù)據(jù)入ElasticSearch實(shí)戰(zhàn)（九）??我們實(shí)時(shí)的流處理入 ElasticSearch 中還是比較麻煩的，雖然說 flink 提供了相關(guān)的 sink 接口，但是一般來說僅僅是簡單的...
-
Flink系列 - 實(shí)時(shí)數(shù)倉之?dāng)?shù)據(jù)入HBase實(shí)戰(zhàn)（八）??這個(gè)案例是建立在上一篇的基礎(chǔ)之上，之所以做總結(jié)是因?yàn)榫W(wǎng)上很多都只是簡單的調(diào)用API而已，根本找不到優(yōu)化過后的 sink 自定義方法，顯示的生...