行業(yè)實(shí)踐-Flink 單點(diǎn)恢復(fù)和checkpoint優(yōu)化

1.單點(diǎn)恢復(fù)

flink中的checkpoint完成是指所有的flink中的task都完成才算checkpoint完成,所以隨著任務(wù)數(shù)量的增多,checkpoint的完成度是指數(shù)型下降的

業(yè)務(wù)背景
業(yè)務(wù)背景
問題和解決思路
解決思路
數(shù)據(jù)傳輸機(jī)制
數(shù)據(jù)傳輸機(jī)制
難點(diǎn)
難點(diǎn)
解決方案
解決方案
解決方案
解決方案
解決方案
業(yè)務(wù)收益
image.png

2.checkpoint優(yōu)化

業(yè)務(wù)背景
業(yè)務(wù)背景

(兩階段提交)

問題和解決
問題和解決
checkpoint機(jī)制
checkpoint機(jī)制

checkpoint機(jī)制
難點(diǎn)
難點(diǎn)一

解決方案

解決方案
難點(diǎn)二

解決方案

解決方案
業(yè)務(wù)收益
業(yè)務(wù)收益

3.其他優(yōu)化

其他優(yōu)化
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容