簡(jiǎn)介
官網(wǎng)，F(xiàn)link 是分布式大數(shù)據(jù)處理引擎，可對(duì)有限水流或無(wú)限數(shù)據(jù)流做有狀態(tài)或無(wú)狀態(tài)對(duì)計(jì)算，能夠部署在各種集群環(huán)境，對(duì)各種規(guī)模是數(shù)據(jù)進(jìn)行快速的計(jì)算
flink的一些概念
- Streams: 流，分有限數(shù)據(jù)流和無(wú)限水流。
- State: 狀態(tài)，是計(jì)算過(guò)程中的數(shù)據(jù)信息
- Time: 分為Event time , Ingestion time , Processing time
- API: 通常分為三層，由上而下分為 SQL/Table API ,DataStream API ,ProcessFunction。
flink 架構(gòu)
- flink 具備統(tǒng)一的框架處理有界和無(wú)界兩種數(shù)據(jù)流的能力。
- 部署靈活。底層支持多種資源調(diào)度器，包括 Yarn , Kubernetes 等，F(xiàn)link 自身帶的Standalone 的調(diào)度器，在部署上也十分靈活。
- 極高的可伸縮性，可伸縮性對(duì)于分布式系統(tǒng)十分重要
- 極致的流式處理性能。
數(shù)據(jù)處理架構(gòu)演變
1.傳統(tǒng)數(shù)據(jù)架構(gòu)
傳統(tǒng)數(shù)據(jù)架構(gòu).png
2.分析處理架構(gòu)
分析數(shù)據(jù)處理.png
3.有狀態(tài)流處理
有狀態(tài)流處理.png
4.lambda架構(gòu)
lambda架構(gòu).png
5.flink
flink.png
參考：尚硅谷Flink 教程
https://ververica.cn/developers/flink-basic-tutorial-1-basic-concept/
