Flink:
三種窗口：
1，滾動，就是 5分鐘，再5分鐘；
2，滑動窗口， 固定一個長度，然后slide，會有很多overlap，比如 5分鐘長度， 1分鐘滑動。
3，會話窗口，根據(jù)多久沒有收到數(shù)據(jù)比如 2分鐘，則關(guān)閉窗口。直到新的數(shù)據(jù)，開啟新窗口。
Trigger：
窗口觸發(fā)：
Trigger 提供個三個有用的函數(shù)：
1，onElement, onProccessTIme, onEventTime，根據(jù)自己需求判斷是否觸發(fā)窗口計算
比如，可以根據(jù)count 來算。
也可以根據(jù) 時間， 或者watermark 的大小來計算，可以實現(xiàn)非常靈活的計算。
waterMark的機制就是在這里實現(xiàn)。
@Override
public TriggerResult onElement(Object element, long timestamp, TimeWindow window, TriggerContext ctx) {
if (window.maxTimestamp() <= ctx.getCurrentWatermark()) {
return TriggerResult.FIRE;
} else {
ctx.registerEventTimeTimer(window.maxTimestamp());
return TriggerResult.CONTINUE;
}
}
public TriggerResult onEventTime(long time, TimeWindow window, TriggerContext ctx) {
return time == window.maxTimestamp() ?
TriggerResult.FIRE :
TriggerResult.CONTINUE;
}
Evictor:
提供一些能力，在窗口觸發(fā)后，但是在窗口函數(shù)計算前后， 做一些定制化的事情，比如對窗口中元素按需進行修剪。flink 默認(rèn)提供的一些Evictor。
CountEvictor：在窗口維護用戶指定數(shù)量的元素，如果多于用戶指定的數(shù)量，從窗口緩沖區(qū)的開頭丟棄多余的元素。
DeltaEvictor：使用 DeltaFunction 和一個閾值，來計算窗口緩沖區(qū)中的最后一個元素與其余每個元素之間的差值，并刪除差值大于或等于閾值的元素。
TimeEvictor：以毫秒為單位的時間間隔（interval）作為參數(shù)，對于給定的窗口，找到元素中的最大的時間戳max_ts，并刪除時間戳小于max_ts - interval的所有元素。
水位線：watermark
水位線為插入到 流記錄里面的特殊標(biāo)識， 一般是用水位線來做窗口觸發(fā)的標(biāo)識，
比如9：00到10點的窗口，允許10分鐘的延遲， 參看寫的文章： http://www.itdecent.cn/p/a16dd26f96c6
一般就是 水位線 == 窗口末端就 觸發(fā)計算。 watermark = max(eventTime- delay)
State 的概念：
每個計算算子，有時候是需要記錄狀態(tài)，比如 source 可能需要記錄kafka的offset， 一些聚合算子通常是 增量計算的，也可能在計算你的時候記錄 一些狀態(tài)。
對于checkpoints 等等也需要記錄當(dāng)前的一些狀態(tài)，以便從錯誤中恢復(fù)。
另外一個用的比較多的，就是broadcast， 我們可以 通過流broadcast 一些配置信息到 stream 中， 然后在processElemnt中獲取響應(yīng)的broadcast內(nèi)容。
這些broadcast 就是存在 state中，通過 StateDescriptor 就可以獲取。
final MapStateDescriptor<Integer, String> stateDesc = new MapStateDescriptor<>(
"broadcast-state", Integer.class, String.class
);
BroadcastStream<Tuple2<Integer, String>> broadcastStream = ruleStream.broadcast(stateDesc);
//然后通過
ctx.getBroadcastState(descriptor)
對于flink，有三種存儲state 的組件可以選擇， inmemory， FileSystem， rocketdb。
對于state來說，通常分為 operator state 和 KeyState
對于operator state, 比如我們可以定義為每個 map 做state的記錄，或者為 map operate實現(xiàn)一些checkpoint函數(shù)。
checkpoint 函數(shù)就可以從我們的 state中進行恢復(fù)。
對于keyState，通?？梢詫eyedStream 的聚合狀態(tài)進行 state記錄， 然后在state做自己需要的操作，通常數(shù)據(jù)量會比較大。
在keyState的模型中，還提供很多計算范式，比如TTLState, AggState， ReduceState， 對于 state 的數(shù)據(jù)是可以按需做相應(yīng)的操作的。
Partition：
由于并發(fā)設(shè)置，各個算子之間的并行度 等的設(shè)置，需要有某中策略，把 上游對的數(shù)據(jù)， 分配到下游的機器上，不好的分配策略可能會造成數(shù)據(jù)傾斜。
其中ForwardPartitioner和GlobalPartitioner兩個實現(xiàn)器基本一樣，是將記錄轉(zhuǎn)發(fā)給在本地運行的下游的(歸屬于subtask)的operation
ShufflePartitioner是隨機選擇一個channel
RebalancePartitioner實現(xiàn)了一個輪詢分區(qū)算法
BroadcastPartitioner是將數(shù)據(jù)發(fā)往下游所有節(jié)點
RescalPartitioner是通過輪詢的方式發(fā)往下游
我們完全可以自定義分區(qū)器，比如按照某個key的hash進行分區(qū)，完全是看自己的業(yè)務(wù)需求。
