發(fā)簡(jiǎn)信
IP屬地：浙江
-
StreamingFileSink壓縮與合并小文件
Flink目前對(duì)于外部Exectly-Once支持提供了兩種的connector，一個(gè)是Flink-Kafka Connector，另一個(gè)是Fl...
-
Flink中-C參數(shù)與DistributedCache使用
-C 參數(shù) flink命令下有這樣的一個(gè)參數(shù)選項(xiàng)-C或者--classpath，含義解釋： 含義就是：給一個(gè)user classloader添加...
-
Flink大禮包
從19年10月份開(kāi)始決定寫(xiě)這些東西，不知不覺(jué)寫(xiě)了43篇文章，真的沒(méi)想到自己能夠堅(jiān)持下來(lái)，每一篇文章都是從自己工作中總結(jié)出來(lái)的，每寫(xiě)一個(gè)系列都需要...
-
Flink去重第三彈：HyperLogLog去重
HyperLogLog算法 也就是基數(shù)估計(jì)統(tǒng)計(jì)算法，預(yù)估一個(gè)集合中不同數(shù)據(jù)的個(gè)數(shù)，也就是我們常說(shuō)的去重統(tǒng)計(jì)，在redis中也存在hyperlog...
-
Flink自定義StreamOperator
在上一篇StreamOperator源碼簡(jiǎn)析從源碼角度分析了StreamOperator以及其實(shí)現(xiàn)類，此篇幅主要分析一下如何自定義一個(gè)Strea...
-
記一次Flink寫(xiě)入Kafka坑點(diǎn)
最近做了一個(gè)將結(jié)果數(shù)據(jù)寫(xiě)入到Kafka的需求，sink部分代碼如下： val kafkaProducer: FlinkKafkaProducer...
-
flink exactly-once系列之兩階段提交實(shí)現(xiàn)分析
flink exactly-once系列目錄： 一、TwoPhaseCommitSinkFunction beginTransaction， 開(kāi)...
-
flink exactly-once系列之兩階段提交概述
flink exactly-once系列目錄： 一、flink Exactly-Once與At-Least-Once 個(gè)處理節(jié)點(diǎn)需要接收上游不同...
-
flink時(shí)間系統(tǒng)系列之窗口函數(shù)中的應(yīng)用分析
flink時(shí)間系統(tǒng)系列篇幅目錄： 首先會(huì)在WindowOperator.open 初始化方法中，注冊(cè)了一個(gè)名為window-timers 的In...