現(xiàn)在我有一個數(shù)據(jù)架構(gòu):Flink消費kafka,開啟windows窗口聚合存ES。某天的晚上Flink掛機,未加報警機制,3小時后才發(fā)現(xiàn)。如何才能把丟失的Kafka數(shù)據(jù)補充回...
IP屬地:北京
現(xiàn)在我有一個數(shù)據(jù)架構(gòu):Flink消費kafka,開啟windows窗口聚合存ES。某天的晚上Flink掛機,未加報警機制,3小時后才發(fā)現(xiàn)。如何才能把丟失的Kafka數(shù)據(jù)補充回...
在簡書已經(jīng)有很長時間了,更多的是在觀望,閱讀,看簡友們是如何寫文章的,最近幾天加入了日更挑戰(zhàn),每天都會寫一點生活的小趣事,或是感想心得。 更新幾天以后我發(fā)現(xiàn)一個現(xiàn)象,明明我很...
一、背景: 實現(xiàn)效果數(shù)據(jù)實時報表 二、歷史解決方案: 1) 前端發(fā)生數(shù)據(jù)事件時,調(diào)用封裝好的JS方法,拋出kafka消息,服務(wù)端使用Spark 微批消費Kafka...