Flink實現(xiàn)Kafka到Mysql的Exactly-Once 背景 最近項目中使用Flink消費kafka消息，并將消費的消息存儲到mysql...
投稿
收錄了78篇文章 · 246人關(guān)注
-
Flink實現(xiàn)Kafka到Mysql的Exactly-Once -
Blink First Time & Flink-sqlBlink First Time & Flink-sql 背景 blink開源，目前在https://github.com/apache/fli...
-
Flink從BucketSink看checkpoint與故障恢復(fù)看了 BucketSink 的相關(guān)源碼。著重看了它的checkpoint以及故障恢復(fù)機制。把大概的理解梳理如下：BucketSink 大體的工作...
-
LocalFlinkMiniCluster啟動DataStream任務(wù)的流程LocalFlinkMiniCluster 集群的actor 模型 相關(guān)的主要類圖如下： AkkaRpcActor持有一個rpcEndpoint...
-
Flink系統(tǒng)架構(gòu)簡介Flink系統(tǒng)組成 Flink是一個分層系統(tǒng)，從下到上分為：系統(tǒng)部署層、任務(wù)運行層、API層以及基于API開發(fā)的通用庫層(Libraries)。...
-
Flink學(xué)習(xí)筆記之四Time&Window一.Time 1.DataStream支持3種Time env.setStreamTimeCharacteristic(TimeCharacte...
-
Flink學(xué)習(xí)筆記之七AsycIO1.什么是異步IO ，當請求外部系統(tǒng)或者耗時操作，需要異步IO 2.AsyncDataStream 3.實現(xiàn)原理 有序 processing t...
-
Flink學(xué)習(xí)筆記之一Flink Runtime一.Flink Runtime 1.運行時架構(gòu) Client JobManager（master節(jié)點） TaskManager（Salve節(jié)點）...
-
Flink學(xué)習(xí)筆記之二編譯源碼1.git 下載源碼 git clonehttps://github.com/apache/flink.git 公司目前使用的是1.5.0版本，...
-
Flink狀態(tài)（state）管理在代碼里配置checkpointcheckPoint簡介 為了保證state的容錯性，F(xiàn)link需要對state進行checkpoint。 Checkpoint是Flink實現(xiàn)...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/600615/navbar-brand-logo.jpg', '推薦專題《flink》（ 分享自 @簡書 ）','http://www.itdecent.cn/c/ef60d0a5cecc?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認gb2312'));){kind=link}