Flink 使用介紹相關(guān)文檔目錄 Flink 使用介紹相關(guān)文檔目錄[http://www.itdecent.cn/p/74f1990d047c] 前言 近期一個(gè)需求是寫一套...
發(fā)簡信
IP屬地：浙江
-
Flink 使用之Kafka exactly-once場景
-
Flink 源碼之OperatorChain
Flink源碼分析系列文檔目錄 請點(diǎn)擊：Flink 源碼分析系列文檔目錄[http://www.itdecent.cn/p/d4a372809e3d] 前言 Operato...
-
ClickHouse——數(shù)據(jù)分片一、分區(qū)和分片 分區(qū) 分區(qū)是表的分區(qū)，是解決大數(shù)據(jù)存儲的常見解決方案，具體的DDL操作關(guān)鍵詞是 PARTITION BY，指的是一個(gè)表按照某一列數(shù)據(jù)（比如日期）進(jìn)行分區(qū)，對應(yīng)...
-
Apache Doris tablet 副本修復(fù)的原理、流程及問題定位Doris 一個(gè) tablet 有多個(gè)副本，可能因?yàn)槟承┣闆r導(dǎo)致狀態(tài)不一致。Doris 會嘗試自動修復(fù)這些狀態(tài)不一致的副本，讓集群盡快從錯(cuò)誤狀態(tài)中恢復(fù)。每個(gè)副本的狀態(tài)有以下幾...
-
Flink 側(cè)流輸出源碼解析
Flink 側(cè)流輸出源碼解析 Flink 的 side output 為我們提供了側(cè)流（分流）輸出的功能，根據(jù)條件可以把一條流分為多個(gè)不同的流，之后做不同的處理邏輯，下面就來...
-
clickhouse使用一些優(yōu)化和經(jīng)驗(yàn)
一些經(jīng)驗(yàn) 1，查詢強(qiáng)烈要求帶上分區(qū)鍵過濾和主鍵過濾，如 where day = today() and itime = now()。 2，建表的時(shí)候，選擇合適的分區(qū)鍵和...
-
Apache Flink——窗口（Window）前言 在真實(shí)的場景中數(shù)據(jù)流往往都是沒有界限的，無休止的，就像是一個(gè)通道中水流持續(xù)不斷地通過管道流向別處，這樣顯然是無法進(jìn)行處理、計(jì)算的，可以將這些無界限的數(shù)據(jù)流進(jìn)行切割、拆分...
-
Flink 源碼之 Distributed Cache
Flink源碼分析系列文檔目錄 請點(diǎn)擊：Flink 源碼分析系列文檔目錄[http://www.itdecent.cn/p/d4a372809e3d] 背景 Flink 分...
-
Flink 源碼之 SQL 內(nèi)置function定義方式
Flink源碼分析系列文檔目錄 請點(diǎn)擊：Flink 源碼分析系列文檔目錄[http://www.itdecent.cn/p/d4a372809e3d] 前言 近期使用Fli...
-
flink寫入kafka分區(qū)策略
flink寫入kafka默認(rèn)采用的分區(qū)策略的代碼實(shí)現(xiàn)在FlinkFixedPartitioner這個(gè)類中，并不是我們理解的輪盤轉(zhuǎn)方式寫入下游分區(qū)，而是每個(gè)并發(fā)固定的寫入到ka...
-
Flink重點(diǎn)難點(diǎn)：Flink任務(wù)綜合調(diào)優(yōu)(Checkpoint/反壓/內(nèi)存)
CheckPoint調(diào)優(yōu) Flink中基于異步輕量級的分布式快照技術(shù)提供了Checkpoints容錯(cuò)機(jī)制，Checkpoints可以將同一時(shí)間點(diǎn)作業(yè)/算子的狀態(tài)數(shù)據(jù)全局統(tǒng)一快...
-
Flink 源碼之 Buffer Timeout優(yōu)化
Flink源碼分析系列文檔目錄 請點(diǎn)擊：Flink 源碼分析系列文檔目錄[http://www.itdecent.cn/p/d4a372809e3d] Buffer Tim...
-
Flink 消費(fèi) Kafka 分區(qū)順序性問題1. kafka分區(qū)數(shù)據(jù)順序性 kafka具有分區(qū)內(nèi)數(shù)據(jù)有序的特點(diǎn)，可以通過將數(shù)據(jù)指定到特定的分區(qū)來實(shí)現(xiàn)數(shù)據(jù)的順序性。kafka分區(qū)邏輯代碼如下：如果指定了分區(qū)號生產(chǎn)，則發(fā)送...
-
Flink CDC 2.0 批流融合技術(shù)原理分析8月份 FlinkCDC 發(fā)布2.0.0版本，相較于1.0版本，在全量讀取階段支持分布式讀取、支持checkpoint，且在全量 + 增量讀取的過程在不鎖表的情況下保障數(shù)據(jù)一...
-
數(shù)據(jù)倉庫的分層，你知道嗎？數(shù)據(jù)倉庫更多代表的是一種對數(shù)據(jù)的管理和使用的方式，它是一整套包括了數(shù)據(jù)建模、ETL（數(shù)據(jù)抽取、轉(zhuǎn)換、加載）以及作用調(diào)度等在內(nèi)的完整的理論體系流程。 數(shù)據(jù)倉庫在構(gòu)建過程中通常都...
-
Flink源碼閱讀（十）--- Flink 心跳機(jī)制
1. 背景 心跳機(jī)制通過定期向?qū)Ψ桨l(fā)送請求方式用于檢測客戶端或者服務(wù)端是否存活的一種機(jī)制，常見的心跳檢測有兩種：?? 1. socket 套接字 SO_KEEPALIVE 本...
-
flink 問題總結(jié)（9）registerProcessingTimeTimer 定時(shí)器疑問(包括源碼閱讀)
請移步 flink問題總結(jié)目錄 (不斷更新中)[http://www.itdecent.cn/p/ef5618429d24]姐妹篇 registerEventTimeTim...
