啰嗦的話(huà)放在最后,先上干貨。這篇文章僅為自己記錄參考,方便以后新電腦重新配置。有的步驟如果不懂,不會(huì)過(guò)多解釋。 需求 家里無(wú)法申請(qǐng)到公網(wǎng)ip,但是買(mǎi)了騰訊云/阿里云等的服務(wù)器...
啰嗦的話(huà)放在最后,先上干貨。這篇文章僅為自己記錄參考,方便以后新電腦重新配置。有的步驟如果不懂,不會(huì)過(guò)多解釋。 需求 家里無(wú)法申請(qǐng)到公網(wǎng)ip,但是買(mǎi)了騰訊云/阿里云等的服務(wù)器...
opentracing建議每個(gè)服務(wù)使用一個(gè)Tracer,Tracer構(gòu)建當(dāng)前服務(wù)中的span,兩個(gè)tracer見(jiàn)的通信,按照opentracing的規(guī)范,貌似沒(méi)有理由讓tracer見(jiàn)保持通信。
jaeger代碼閱讀思路整理jaeger實(shí)現(xiàn)了opentracing的規(guī)范,對(duì)Tracer與Span等接口寫(xiě)了自己的實(shí)現(xiàn)。根據(jù)opentracing的規(guī)范,每個(gè)服務(wù)建議只有一個(gè)Tracer,Tracer...
背景 Flink Hive 集成介紹 Flink集群設(shè)置 本地開(kāi)發(fā)調(diào)試本地開(kāi)發(fā)調(diào)試提示 Git相關(guān)項(xiàng)目 本文記錄了flink1.10.0與hive3.1.2集成時(shí)遇到的問(wèn)題,...
Flink中的每個(gè)function與operator都可以是有狀態(tài)的。有狀態(tài)的function會(huì)在處理每個(gè)數(shù)據(jù)時(shí)存儲(chǔ)數(shù)據(jù),使得狀態(tài)state成為需要更多精細(xì)操作的任意類(lèi)型的o...
上篇講了operator state在恢復(fù)(重啟/故障恢復(fù))時(shí)要么使用evenly distributed策略,要么使用union策略,來(lái)重啟operator的并發(fā)實(shí)例。op...
這篇文檔解釋了如何在開(kāi)發(fā)應(yīng)用時(shí),使用Flink的state。 Keyed State and Operator State 在Flink有兩種基本的state:keyed s...
OverviewWorking with StateThe Broadcast State PatternCheckpointingQueryable StateState ...
有狀態(tài)的函數(shù)和操作符會(huì)在處理數(shù)據(jù)時(shí)存儲(chǔ)一些數(shù)據(jù),這使得state成為了任何想要進(jìn)行精細(xì)操作的操作符的關(guān)鍵組成部分。例如: 當(dāng)應(yīng)用尋找某些特定的模式的數(shù)據(jù)時(shí),state可以存儲(chǔ)...
Flink提供了接口,允許編程者自定義 timesatmp extractor 與 watermark emitter。更確切的說(shuō),可以根據(jù)情況,實(shí)現(xiàn) AssignerWit...
這一部分文檔,只和使用 event time語(yǔ)義的應(yīng)用有關(guān)。為了使用 event time 語(yǔ)義,流程序需要設(shè)置相應(yīng)的 時(shí)間語(yǔ)義 time characteristic. 指...
Event Time / Processing Time / Ingestion Time Flink 在流應(yīng)用中支持不同的時(shí)間概念: Processing Time: 處理...
OverviewGenerating Timestamps / WatermarksPre-defined Timestamp Extractors / Watermark ...
Flink中的流應(yīng)用就是在數(shù)據(jù)流上應(yīng)用各種轉(zhuǎn)化(如:filter,update state,difine window,aggregation)。數(shù)據(jù)流有各種數(shù)據(jù)源創(chuàng)建而來(lái)(...
Java 8 引入了一些為了提高編碼的速度與間接性的新特性。其中最重要的特性之一,便是“Lambda 表達(dá)式”,它打開(kāi)了使用java進(jìn)行函數(shù)是編程的大門(mén)。Lambda表達(dá)式允...
Flink程序會(huì)在分布式的集合上進(jìn)行各類(lèi)轉(zhuǎn)化操作(如,filter,map,update state,join,group,window,aggregate)。集合是由數(shù)據(jù)源...