本博客所有內(nèi)容均適用知識共享-署名-相同方式共享（CC-BY-SA）4.0協(xié)議。
發(fā)簡信
IP屬地：河南
-
-
-
李開復：從患癌癥到腫瘤消失，在抗癌中我更加確信睡眠比什么都重要
就像大部分的病友一樣，在發(fā)現(xiàn)自己罹癌之后，我急切地想了解癌癥是怎么發(fā)生的，身體到底需要什么，如何保持身體健康…… 一路上我看了很多書籍，也接觸了不少名醫(yī)，接受了不少朋友的建議...
-
Flink Checkpoint變遷與實踐一、歷史變遷 在Flink 1.0.0時期 提供了RocksDB的支持，這個版本之前所有的狀態(tài)都只能存在進程的內(nèi)存里面，這個內(nèi)存總有存不下的一天，如果存不下則會發(fā)生OOM。如...
-
初識Flink WaterMarker
前言 對于流計算來說，最核心的概念就是無窮數(shù)據(jù)集，而用來處理無窮數(shù)據(jù)集的計算就可以稱為流計算。面對無窮數(shù)據(jù)集，有多種多樣的處理方式，但是大致上可以分為四類：1、時間無關(guān)：最基...
-
Jobs and SchedulingScheduling 1、Flink的Execution resources是通過Task Slots定義的。每個TaskManager 都有一個或多個Task Slots，...
-
MemorySegment
概述 就像我們所知道的，F(xiàn)link采用了自己管理內(nèi)存的方式，或者說積極的內(nèi)存管理，而MemorySegment就是Flink實現(xiàn)自己內(nèi)存管理的核心。 那么MemorySegm...
-
Data exchange between tasks基本原則 https://cwiki.apache.org/confluence/display/FLINK/Data+exchange+between+tasks 1、Fl...
-
Rescaling Stateful Applications in Production一、概述 數(shù)據(jù)局部性是Flink中的一個關(guān)鍵原則，并且強烈影響狀態(tài)的存儲和訪問方式。Flink中的狀態(tài)都是Local State。Why local state is a f...
-
Actor system(Akka) in Flink一、概述 Flink's distributed execution consists of two important processes, master and work...
-
Physical Partitioning in Flink Streaming一、Physical partitioning 在一個transformation之后，F(xiàn)link也提供了底層API以允許用戶在必要時精確控制流分區(qū)。 所謂的Physical...
-
Impala schema基本設計原則
在進行任何概念驗證工作，移植練習或部署到生產(chǎn)之前，請將這些指南用作check list。 1、Prefer binary file formats over text-bas...
-
JStorm：Window機制
0x01、前言 1、Storm作為經(jīng)典流計算框架，由于不支持Window，更別說Event Time了，雖說Trident支持了exactly-once語義，但是性能會急劇下...
-
Flink中的計算資源
一、Flink Graph（DAG） 在Flink中的執(zhí)行圖可以分成四層：StreamGraph -> JobGraph -> ExecutionGraph -> 物理執(zhí)行圖...
