在上一篇，我們從使用方式和策略上，對(duì)消息隊(duì)列做了一個(gè)宏觀描述。從本篇開始，我們將深入到源碼內(nèi)部，仔細(xì)分析Kafka到底是如何實(shí)現(xiàn)一個(gè)分布式消息隊(duì)列。我們的分析將從Produc...
發(fā)簡信
IP屬地：福建
-
Kafka源碼深度解析－序列2 －Producer －Metadata的數(shù)據(jù)結(jié)構(gòu)與讀取、更新策略
-
5.Kafka源碼深入解析之拉取元數(shù)據(jù)02
上一節(jié)我們?cè)敿?xì)解析了生產(chǎn)端在發(fā)消息的dosend()里，首先是拉取元數(shù)據(jù)信息，在拉取過程中，先喚醒了sender線程，接著主線程進(jìn)入等待狀態(tài)，直到sender線程拉取元數(shù)據(jù)成...
-
Centos7下安裝kudu簡介 kudu官網(wǎng)https://kudu.apache.org/ 準(zhǔn)備 直接通過yum install是找不到kudu的源的，在官網(wǎng)安裝的頁面詳細(xì)介紹了怎么在各種系統(tǒng)下安裝...
-
[第九章]Job觸發(fā)流程原理剖析
上一節(jié)我們是不是講到，Driver，Application注冊(cè)到Master上面后，Master中調(diào)用scheduler()進(jìn)行資源調(diào)度，在這個(gè)里面通過LaunchDrive...
-
Hive中MetaServer與HiveServer2的應(yīng)用在hive中有metaServer與hiveServer2兩種服務(wù)，看了好多文章說這兩個(gè)的區(qū)別，文章內(nèi)容有對(duì)有錯(cuò)，不夠全面，故在這里好好總結(jié)一下。 首先，下面這個(gè)hive構(gòu)架...
-
[第五章]Master注冊(cè)機(jī)制嘗試剖析
前面三章我們已經(jīng)嘗試剖析講過SparkContext的基本的原理，其實(shí)涉及到了Driver對(duì)Master的注冊(cè)，本節(jié)就關(guān)于Master注冊(cè)機(jī)制進(jìn)行更詳細(xì)的剖析。 我們知道Sp...
-
[第三章] sparkContext原理剖析
前面我們講過了了關(guān)于spark整體構(gòu)架原理，在spark中 ,當(dāng)執(zhí)行我們的application,也就是我們寫的程代碼，我們回想一下，之前我們寫的spark應(yīng)用的第一行是不是...
