以下是本人Flink學習的相關(guān)內(nèi)容,對于本人,目前來說flink分為兩個階段,第一個階段主要是2020年12月份到2021年1月份吧,學習的主要載體是 ?基于Apache Flink的流處理?這本書,b站上的視頻等...但是上班也用不上Flink一直從事的是離線開發(fā)的工作....SparkSQL BOY和OLAPSQL BOY....想體驗一下FlinkSQL BOY...第二個階段是目前這個階段,我準備把Flink給撿起來,學習的主要載體是?Flink內(nèi)核原理與實現(xiàn)?這本書,flink官網(wǎng),別人博客的成果等...
第二個階段??
?Flink入門
1. Flink概覽:簡單介紹了Flink的特點,框架架構(gòu),運行時架構(gòu)
3. Flink Source的使用和類型
Source類型例如有:從文件中讀取,從集合中讀取,Socket文本流,從Kafka中讀取等
4. Flink Transformation的使用和類型,及富函數(shù)的簡單使用說明
Transformation類型例如有:map,filter,flatmap,keyBy,max&maxBy,reduce
5. Flink 數(shù)據(jù)分區(qū),Sink的使用和類型,及簡單的介紹了時間和窗口的應用
數(shù)據(jù)分區(qū)包含:隨機和輪詢分區(qū),廣播,全局分區(qū),及自定義重分區(qū)等
Sink類型例如有:寫入文件系統(tǒng),寫入Kafka(重點),寫入Ridis,寫入ES,寫入Mysql,寫入自定義Sink等
時間語義包含:處理時間和事件時間,介紹了水位線的特性,生成策略,水位線的傳遞,及延遲數(shù)據(jù)的處理
簡單介紹了窗口的分類:滾動窗口,滑動窗口,會話窗口(合并)等,及簡單使用了窗口的功能(這一塊是重點)
6. Flink 處理函數(shù),定時器的簡單應用,多流轉(zhuǎn)換,狀態(tài)編程,狀態(tài)生存時間TTL,容錯機制
process方法中open,onTimer的應用,定時器結(jié)合處理時間,事件時間的應用,windowall實現(xiàn)TOP_N等(觸發(fā)器呢)
側(cè)輸出流,聯(lián)合(union),連接(connect),雙流join-窗口連接,雙流join-間隔連接,雙流join-同組連結(jié)
flink和kafka連接時的精準一次保障的實現(xiàn)
這塊比較多....后面在系統(tǒng)的學習一下,忘得差不多了....
?FlinkSQL
1. Flink TableAPI/SQL任務的代碼結(jié)構(gòu),動態(tài)輸出表轉(zhuǎn)化為輸出數(shù)據(jù),SQL中指定時間屬性
2. Flink TableAPI/SQL DDL/DML語法
3. Flink UDF的使用,及Module,Catalog,任務參數(shù)配置簡單介紹
第一個階段??
??基于Apache Flink的流處理?
這一塊有什么用:沒什么用了
1. Flink 狀態(tài)化流處理概述
2. Flink 流處理基礎(chǔ)
3. Flink Flink架構(gòu)
4. Flink 開發(fā)環(huán)境
5. Flink DataStream 1.7版
6. Flink 基于時間和窗口的算子
7. Flink 有狀態(tài)算子和應用
8. Flink 讀寫外部系統(tǒng)
9. Flink 搭建Flink運行流式應用
10. Flink 流式應用運維
?行業(yè)實踐
擱置狀態(tài)....后面還是要看看Datafun的視頻的
1. Flink 單點恢復和checkpoint優(yōu)化
2. Flink 調(diào)度優(yōu)化
?課程
這一塊有什么用:主要目前企業(yè)開發(fā)用的還是FlinkSQL,這個課程作用不是很大了,下面的東西其實我也花費了2-3個月的時間,并且有些知識非常有可取之處,比如說Flink的異步IO,自定義觸發(fā)器,自己實現(xiàn)一個算子或者狀態(tài),FlinkShuffle,狀態(tài)的應用等
1. Flink WorldCount案例
2. Flink 任務調(diào)度原理 批/流處理系統(tǒng)的介紹
3. Flink 讀取數(shù)據(jù)的方式
4. Flink Transform
5. Flink Sink
6. Flink 快速入門
7. Flink Source
8. Flink Sink
9. Flink Transform 一
10. Flink Transform 二
11. Flink 窗口概念
12. Flink 窗口函數(shù)
13. Flink Joins
14. Flink State
15. Flink ProcessingTime/側(cè)流輸出
16. Flink TTL
17. Flink Broadcast/QueryableKey
18. Flink 異步IO
19. Flink CheckPoint
20. Flink ExactlyOnce語義
21. Flink 實時日志采集架構(gòu)
22. Flink 實時日志需求案例
23. Flink 實時業(yè)務需求案例
24. Flink 離線API
25. Flink TableAPI 一
26. Flink TableAPI 二
27. Flink 水位線
28. Flink shuffle
29. Flink 電商用戶行為分析案例 一
30. Flink 電商用戶行為分析案例 二
31. Flink 電商用戶行為分析案例 三
