在日常flink應(yīng)用中,相信大家經(jīng)常會遇到checkpoint超時失敗這類的問題,遇到這種情況的時候僅僅只會在jobmanager處打一個超時abort的日志,往往一臉懵逼不...
??最近面試螞蟻金服一面的時候,和面試官聊項目問題的時候,發(fā)現(xiàn)我這邊業(yè)務(wù)實現(xiàn)的top100場景好像沒有實現(xiàn)exactly once語義,我們項目的offset是存儲在zk中,...
Spark 應(yīng)用場景示例 Spark 項目搭建 環(huán)境介紹 框架版本Centos7Java8Scala2.11.12SBT1.0Spark2.3.0IDEA pluginSca...
這篇已經(jīng)是本系列文章的第五篇了,簡書/小紅書/CSDN 還不快來感謝大豬,上一篇大豬已經(jīng)介紹 PV/UV 的實現(xiàn)方式以及程序的計算邏輯,本篇大豬繼續(xù)為小伙伴介紹 留存,看在S...
在Phoenix客戶端使用自定義函數(shù)UDF時候是正常的,但是在本地測試的時候報Function類找不到的異常。 異常演示 例子 CRC32Function.java 導入ph...
在Flink中我們有時候需要分析數(shù)據(jù)1點到2點的范圍,可是經(jīng)過Region又比較慢,這時候我們就可以定制TableInputFormat來實現(xiàn)我們的需求了,我們還可以采用Fl...