|0x00 從實(shí)時數(shù)倉的歷史談起 實(shí)時數(shù)倉的歷史,有三個顯著的分水嶺。 第一個分水嶺是從無到有,隨著以Storm為代表的實(shí)時計算框架出現(xiàn),大數(shù)據(jù)從此擺脫了MapReduce單...
|0x00 從實(shí)時數(shù)倉的歷史談起 實(shí)時數(shù)倉的歷史,有三個顯著的分水嶺。 第一個分水嶺是從無到有,隨著以Storm為代表的實(shí)時計算框架出現(xiàn),大數(shù)據(jù)從此擺脫了MapReduce單...
一、回顧HDFS 元數(shù)據(jù) 管理 1、0 回顧HDFS 元數(shù)據(jù) 管理 流程 35} 0:8 1.1 寫元數(shù)據(jù)(journalnode)超時會導(dǎo)致namenode進(jìn)程異常退出 3...
31 )服務(wù)端代碼設(shè)計-觀察-kafka源碼的包 31} 0:7 重點(diǎn)代碼包: broker:D:\Git_SRC\JavaProjects\kafka-0.10.1...
67)消費(fèi)者源碼-coondinator原理刨析 -63}0:16 68)消費(fèi)者源碼-consumer初始化 -64}0:16 入口↓▲★\kafka-0.10.1.0-...
1 、 broker管理之leo hw 含義 41} leo : log and offset 每partion 收到1條消息都更新自己的 offset ...
1、 消費(fèi)組概念 32} 0:7 2、偏移量工具 35} 0:15 kafkaOffsetMonitor-assembly-0.3.0 3、感知消費(fèi)異常 36} ...
1 生產(chǎn)者如何提升吞吐量 26} 0: 10 發(fā)送原理圖 1、buffer.memory 設(shè)置緩沖區(qū) 默認(rèn)32M2、compression.type 默認(rèn)n...
19} 20} 21} 22} 1、內(nèi)存里面的元數(shù)據(jù)刷盤 19}接上期 ——1.1 .1.1》 FSEditLog.logSync()——1.1 .1.1.1》 EditL...
1. 借鑒 使用Docker在本地搭建Flink分布式集群[https://blog.csdn.net/clypm/article/details/86303248]基于do...
1、以創(chuàng)建目錄的場景 為例貫穿整個流程 自編客戶端 FileTest 代碼_>▲★▼FileSystem fileSystem=FileSystem.newInstance...
(1)HDFS元數(shù)據(jù)管理、雙緩沖 17 } 0:55 雙緩沖寫元數(shù)據(jù)的方法 ——》 FSEditLog#logEdit()▼▼
1、 DataNode啟動流程 19:00 本節(jié)入口:DataNode類main方法/* DataNode類注釋說明: TODO (1) DataNode存儲hdfs上b...
接上回——》NameNode #構(gòu)造函數(shù)()——1 》NameNode # initialize▼rpcServer = createRpcServer(conf); ...
一 、 task執(zhí)行入口 0:15 接 上期 回顧★ ——7 》 TaskExecutor#submitTask() 第一個入口:Task 構(gòu)造函數(shù)——》Task 構(gòu)造...
接上期:——》JobMaster#startJobExecution()resetAndStartScheduler();——》JobMaster#resetAndStart...
1、 上次回顧 0:10 ~0:18 2、 本次大綱 0:18 ~0:22 4.1 Flink 編程套路 0:23 ~ 0:38 4.2 Clifrontend 提交分...
1、 上期回顧 0:00:00 ~0:20:00 2、 TaskManager 的啟動 0:20:00 ~ 1:39:00 flink-daemon.sh 腳本 3...
1、Flink RPC 詳解 0:5:00 ~ 0:26:00 1、ActorSystem 是管理 Actor生命周期的組件, Actor是負(fù)責(zé)進(jìn)行通信的組2、每個 Act...
一 、 CEP 0:18~1:10 二、一致性保證 1:10 ~2:25 我們使用FlinkKafkaConumser,并且啟用Checkpoint,偏移量會通過ch...