類型系統(tǒng)與反射 JVM會為每個加載到內(nèi)存的類創(chuàng)建了一個Class對象,而我們可以通過Class對象來獲取類中的Field(字段)、Constru...
論文概要 該論文是Spark團隊在2018年發(fā)表的一篇基于Spark引擎之上新構(gòu)建的一套Streaming api,Structured Str...
論文概要 "Realtime Data Processing at Facebook"是Facebook 在2016年發(fā)表的論文。論文中介紹了F...
根據(jù)集群的生命周期、資源隔離方式和應(yīng)用程序的main()方法執(zhí)行位置(client或者JobManager)可以將集群部署模式分為:Flink ...
Flink集群架構(gòu) Flink采用Master-Slave架構(gòu),其中JobManager作為集群Master節(jié)點,主要負(fù)責(zé)任務(wù)協(xié)調(diào)和資源分配,T...
快照策略(SnapshotStrategy) Flink的檢查點機制是建立在分布式一致快照之上的,從而實現(xiàn)數(shù)據(jù)處理的exactly-once處理...
Flink系統(tǒng)組成 Flink是一個分層系統(tǒng),從下到上分為:系統(tǒng)部署層、任務(wù)運行層、API層以及基于API開發(fā)的通用庫層(Libraries)。...
Flink API介紹 Flink提供了三層API,每層在簡潔性和表達(dá)性之間進(jìn)行了不同的權(quán)衡。 ProcessFunction是Flink提供的...
Flink作為一個分布式流式計算引擎,需要計算資源才可以執(zhí)行應(yīng)用程序。Flink能夠與目前所有通用的資源管理框架集成,比如Hadoop YARN...