發(fā)簡信
IP屬地：江蘇
-
-
Flink消費Kafka如何保證相同標(biāo)識消息的有序性
1.需求 在某些情況下，我們需要保證flink在消費kafka時，對于某些具有相同標(biāo)識的消息，要保證其順序性。比如說具有相同uuid的用戶行為消息，要保證其消息的順序性，這樣...
-
-
分布式Snapshot和Flink Checkpointing簡介
摘要：最近在學(xué)習(xí)Flink的Fault Tolerance，了解到Flink在Chandy Lamport Algorithm的基礎(chǔ)上擴展實現(xiàn)了一套分布式Checkpoint...
-
-
-
-
Flink通信機制flink內(nèi)部通信機制 Operator間的數(shù)據(jù)傳遞本地線程數(shù)據(jù)傳遞遠程線程數(shù)據(jù)傳遞同一線程的Operator數(shù)據(jù)傳遞 Buffer讀寫B(tài)uffer讀取Buffer寫入 內(nèi)存...
-
我曾以為<br>黎明之后太陽就會升起<br>就會有光<br>后來才知道<br>原來黑夜和黎明之間<br>還有一個時刻叫破曉<br>破曉之后<br>新的一天才正式開始。。。
-
高并發(fā)下接口的冪等性設(shè)計推薦微博：https://www.cnblogs.com/huaixiaonian/p/9577567.html 1. 接口調(diào)用存在的問題 現(xiàn)如今我們的系統(tǒng)大多拆分為分布式...
-
-
Flink 原理與實現(xiàn)：內(nèi)存管理如今，大數(shù)據(jù)領(lǐng)域的開源框架（Hadoop，Spark，Storm）都使用的 JVM，當(dāng)然也包括 Flink。基于 JVM 的數(shù)據(jù)分析引擎都需要面對將大量數(shù)據(jù)存到內(nèi)存中，這就不...
-
-
Flink源碼解析之Job提交(下)上一篇文章我們講解了通過命令行將一個Job提交到TaskManager的整體過程，但是我們中間忽略了一些細節(jié)，比如Job提交到集群的哪些節(jié)點，JobGraph是什么，它是如何...
-
-
Spark--數(shù)據(jù)傾斜解決方案數(shù)據(jù)傾斜分為兩大類：聚合傾斜和join傾斜，針對不同的傾斜類型采用不同解決方案 數(shù)據(jù)傾斜解決方案上分為：緩解數(shù)據(jù)傾斜和徹底解決數(shù)據(jù)傾斜 1.數(shù)據(jù)傾斜表現(xiàn)形勢 導(dǎo)致數(shù)據(jù)傾斜的算...
