現(xiàn)在我有一個(gè)數(shù)據(jù)架構(gòu)：Flink消費(fèi)kafka，開(kāi)啟windows窗口聚合存ES。某天的晚上Flink掛機(jī)，未加報(bào)警機(jī)制，3小時(shí)后才發(fā)現(xiàn)。如何才能把丟失的Kafka數(shù)據(jù)補(bǔ)充回...
發(fā)簡(jiǎn)信
IP屬地：上海
-
記一次Flink消費(fèi)kafka數(shù)據(jù)恢復(fù)機(jī)制
-
Flink窗口統(tǒng)計(jì)海量數(shù)據(jù)至ElasticSearch
一、背景： 實(shí)現(xiàn)效果數(shù)據(jù)實(shí)時(shí)報(bào)表 二、歷史解決方案： 1） 前端發(fā)生數(shù)據(jù)事件時(shí)，調(diào)用封裝好的JS方法，拋出kafka消息，服務(wù)端使用Spark 微批消費(fèi)Kafka...