|0x00 從實(shí)時數(shù)倉的歷史談起 實(shí)時數(shù)倉的歷史，有三個顯著的分水嶺。 第一個分水嶺是從無到有，隨著以Storm為代表的實(shí)時計算框架出現(xiàn)，大數(shù)據(jù)從此擺脫了MapReduce單...
發(fā)簡信
IP屬地：廣東
-
漫談實(shí)時數(shù)倉架構(gòu) -
HDFS架構(gòu)師 5 - NameNode bug分析及雙緩沖機(jī)制
一、回顧HDFS 元數(shù)據(jù) 管理 1、0 回顧HDFS 元數(shù)據(jù) 管理 流程 35} 0:8 1.1 寫元數(shù)據(jù)（journalnode)超時會導(dǎo)致namenode進(jìn)程異常退出 3...
-
kafka圖解源碼-2.0 服務(wù)端代碼設(shè)計1-網(wǎng)絡(luò)31 ）服務(wù)端代碼設(shè)計-觀察-kafka源碼的包 31} 0：7 重點(diǎn)代碼包： broker：D:\Git_SRC\JavaProjects\kafka-0.10.1...
-
kafka圖解源碼-3 消費(fèi)者代碼設(shè)計67)消費(fèi)者源碼-coondinator原理刨析 -63｝0:16 68)消費(fèi)者源碼-consumer初始化 -64｝0:16 入口↓▲★\kafka-0.10.1.0-...
-
深入淺出kafka-broker相關(guān)原理1 、 broker管理之leo hw 含義 41} leo ： log and offset 每partion 收到1條消息都更新自己的 offset ...
-
深入淺出kafka-消費(fèi)者相關(guān)原理
1、 消費(fèi)組概念 32} 0:7 2、偏移量工具 35} 0：15 kafkaOffsetMonitor-assembly-0.3.0 3、感知消費(fèi)異常 36} ...
-
深入淺出kafka-生產(chǎn)者相關(guān)原理
1 生產(chǎn)者如何提升吞吐量 26} 0： 10 發(fā)送原理圖 1、buffer.memory 設(shè)置緩沖區(qū) 默認(rèn)32M2、compression.type 默認(rèn)n...
-
HDFS架構(gòu)師3.1-元數(shù)據(jù)管理流程2（日志同步及fsimage互傳）19} 20} 21} 22} 1、內(nèi)存里面的元數(shù)據(jù)刷盤 19}接上期 ——1.1 .1.1》 FSEditLog.logSync（）——1.1 .1.1.1》 EditL...
-
Docker 構(gòu)建 Flink 1.10.2 集群(ON YARN)
1. 借鑒 使用Docker在本地搭建Flink分布式集群[https://blog.csdn.net/clypm/article/details/86303248]基于do...
-
HDFS架構(gòu)師3.0-元數(shù)據(jù)管理流程1（主節(jié)點(diǎn)雙緩沖寫）1、以創(chuàng)建目錄的場景 為例貫穿整個流程 自編客戶端 FileTest 代碼_>▲★▼FileSystem fileSystem=FileSystem.newInstance...
-
HDFS架構(gòu)師 2.2 - NameNode元數(shù)據(jù)雙緩沖寫入原理demo
（1）HDFS元數(shù)據(jù)管理、雙緩沖 17 } 0：55 雙緩沖寫元數(shù)據(jù)的方法 ——》 FSEditLog#logEdit（）▼▼
-
HDFS架構(gòu)師 2-1 —DataNode啟動流程-注冊及心跳
1、 DataNode啟動流程 19：00 本節(jié)入口：DataNode類main方法/* DataNode類注釋說明： TODO (1) DataNode存儲hdfs上b...
-
HDFS架構(gòu)師 2-0 — NameNode啟動流程2
接上回——》NameNode #構(gòu)造函數(shù)（）——1 》NameNode # initialize▼rpcServer = createRpcServer(conf); ...
-
Flink源碼5- task執(zhí)行及state和checkpoint一 、 task執(zhí)行入口 0：15 接 上期 回顧★ ——7 》 TaskExecutor#submitTask（） 第一個入口：Task 構(gòu)造函數(shù)——》Task 構(gòu)造...
-
Flink源碼4-Slot分配和Task執(zhí)行接上期：——》JobMaster#startJobExecution（）resetAndStartScheduler();——》JobMaster#resetAndStart...
-
Flink源碼3-task任務(wù)提交到graph生成1、 上次回顧 0：10 ~0：18 2、 本次大綱 0：18 ~0：22 4.1 Flink 編程套路 0：23 ~ 0：38 4.2 Clifrontend 提交分...
-
Flink源碼2-TaskManager啟動和注冊1、 上期回顧 0：00：00 ~0：20：00 2、 TaskManager 的啟動 0：20：00 ~ 1：39：00 flink-daemon.sh 腳本 3...
-
Flink源碼1-Flink 的集群和Jobmanager啟動1、Flink RPC 詳解 0：5：00 ~ 0：26：00 1、ActorSystem 是管理 Actor生命周期的組件， Actor是負(fù)責(zé)進(jìn)行通信的組2、每個 Act...
-
flink架構(gòu)師5-CEP、一致性、YARN一 、 CEP 0：18~1：10 二、一致性保證 1：10 ~2：25 我們使用FlinkKafkaConumser,并且啟用Checkpoint，偏移量會通過ch...