現(xiàn)在我有一個數(shù)據(jù)架構(gòu)：Flink消費kafka，開啟windows窗口聚合存ES。某天的晚上Flink掛機，未加報警機制，3小時后才發(fā)現(xiàn)。如何才能把丟失的Kafka數(shù)據(jù)補充回...
發(fā)簡信
IP屬地：北京
-
記一次Flink消費kafka數(shù)據(jù)恢復(fù)機制
-
用心寫的文章閱讀量就會多嗎？
在簡書已經(jīng)有很長時間了，更多的是在觀望，閱讀，看簡友們是如何寫文章的，最近幾天加入了日更挑戰(zhàn)，每天都會寫一點生活的小趣事，或是感想心得。 更新幾天以后我發(fā)現(xiàn)一個現(xiàn)象，明明我很...
-
Flink窗口統(tǒng)計海量數(shù)據(jù)至ElasticSearch
一、背景： 實現(xiàn)效果數(shù)據(jù)實時報表 二、歷史解決方案： 1） 前端發(fā)生數(shù)據(jù)事件時，調(diào)用封裝好的JS方法，拋出kafka消息，服務(wù)端使用Spark 微批消費Kafka...