StreamGraph是什么？ StreamGraph顧名思義是流圖，它描述的是一個數(shù)據(jù)流的拓補結(jié)構(gòu)，包含了創(chuàng)建JobGraph的所有必要信息。StreamGraph由Str...
發(fā)簡信
IP屬地：吉林
-
Flink源碼分析之StreamGraph
-
Flink的這些事（一）——Flink部署
一、flink介紹 Apache Flink 是一個開源的分布式流處理和批處理系統(tǒng)。Flink 的核心是在數(shù)據(jù)流上提供數(shù)據(jù)分發(fā)、通信、具備容錯的分布式計算。同時，F(xiàn)link ...
-
Flink源碼解析之Job提交(上)
啟動Job 大家可能都知道通過上面這條命令，就可以在Flink集群上部署一個Job，執(zhí)行你想要的功能，那么具體這個Job是怎么提交到集群的機器上，并執(zhí)行的呢？ CliFron...
-
Flink源碼解析之JobManager接收Job
前一篇文章已經(jīng)說過，JobManager的職責(zé)主要是接收Flink作業(yè)，調(diào)度Task，收集作業(yè)狀態(tài)和管理TaskManager。那么本篇主要講JobManager接收Flin...
-
Flink源碼解析之JobManager啟動JobManager職責(zé) JobManager的職責(zé)主要是接收Flink作業(yè)，調(diào)度Task，收集作業(yè)狀態(tài)和管理TaskManager。它包含一個Actor，并且接收如下信息:...
-
Flink源碼解析之Job提交(下)上一篇文章我們講解了通過命令行將一個Job提交到TaskManager的整體過程，但是我們中間忽略了一些細節(jié)，比如Job提交到集群的哪些節(jié)點，JobGraph是什么，它是如何...
-
Tuning Checkpoints and Large State原文鏈接 本頁面提供了如何配置和優(yōu)化使用大型狀態(tài)的應(yīng)用程序的指南。 概述 為了讓Flink應(yīng)用程序在大規(guī)模集群上可靠的運行，必須滿足兩個條件: 應(yīng)用必須能可靠的獲取check...
-
Process Function (Low-level Operations)
原文地址 The ProcessFunction ProcessFunction是一個低級的流處理操作，可以訪問所有(非循環(huán))流應(yīng)用程序的基本組件: Events(流元素) ...
-
Configuration原文鏈接 對于單節(jié)點設(shè)置，F(xiàn)link已經(jīng)準(zhǔn)備就緒，不需要更改默認配置就可以啟動。 開箱即用的配置會使用你默認安裝的Java。如果你想手動覆蓋Java運行環(huán)境，可以手動設(shè)置環(huán)境...
-
State Backends
原文鏈接 使用Data Stream API編寫的程序通常以不同的形式持有狀態(tài): 在窗口中收集或聚合元素，直到觸發(fā)狀態(tài)存儲 轉(zhuǎn)換函數(shù)可能使用key/value狀態(tài)接口來存儲元...
-
Checkpoints
原文鏈接 概述 Checkpoint通過允許從狀態(tài)和相應(yīng)流的位置進行恢復(fù)，從而使Flink中的狀態(tài)具備容錯能力，從而使應(yīng)用程序具有與無故障執(zhí)行相同的語義。 為你的程序如何開啟...
-
JobManager High Availability (HA)原文鏈接 JobManager協(xié)調(diào)每個Flink部署。它負責(zé)調(diào)度和資源管理。 默認情況下，每個Flink集群都只有一個JobManager實例。這就造成了一個單點故障(SPO...
-
State Backends
原文鏈接 Flink提供了指定狀態(tài)存儲方式和位置的不同的狀態(tài)后端。 狀態(tài)可以位于Java的堆內(nèi)或堆外。根據(jù)你的狀態(tài)后端，F(xiàn)link可以管理應(yīng)用程序的狀態(tài)，這意味著Flink處...