發(fā)簡(jiǎn)信
IP屬地：臺(tái)灣
-
kafka系列第5篇：一文讀懂消費(fèi)者背后的那點(diǎn)"貓膩"
前言 經(jīng)過前幾篇文章的介紹，大致了解了生產(chǎn)者背后的運(yùn)行原理。消息有生產(chǎn)就得有人去消費(fèi)，今天我們就來介紹下消費(fèi)端消費(fèi)消息背后發(fā)生的那點(diǎn)事兒。 ?文...
-
Kafka系列第4篇：消息發(fā)送背后網(wǎng)絡(luò)操作的那點(diǎn)事兒
?前言 上篇文章講述了消息從生產(chǎn)到寫入到 Broker 的 partition 上背后發(fā)生的故事，并提出了消息發(fā)送的網(wǎng)絡(luò)模型的問題。本篇文章我們...
-
Spark內(nèi)核分析之BlockManager工作原理介紹最近一直在忙，沒顧得上寫文章，新年的第一篇文章，希望大家可以喜歡；好了，今天接著之前的內(nèi)容，來聊聊BlockManager的工作原理，上圖來分析...
-
Spark內(nèi)核分析之Shuffle操作流程（非常重要）如題，我們來分析一下spark的shuffle操作原理；為什么說其非常重要，是因?yàn)閟huffle操作是我們?cè)赟park調(diào)優(yōu)中非常重要的一環(huán)，對(duì)s...
-
Spark內(nèi)核分析之DAGScheduler劃分算法實(shí)現(xiàn)原理講解（重要）接著上一篇，我們接著來分析下一個(gè)非常重要的組建DAGScheduler的運(yùn)行原理是怎么實(shí)現(xiàn)的；通過之前對(duì)Spark的分析講解，我們的Spark作...
-
Spark內(nèi)核分析之Worker原理分析接著上篇的Schedule調(diào)度內(nèi)容，本篇我們來看看Driver，Application向Worker發(fā)送launch以后到底發(fā)生了什么。先來看看...
-
Spark內(nèi)核分析之Scheduler資源調(diào)度機(jī)制上一篇我們闡述了Driver，Application，Worker的注冊(cè)實(shí)現(xiàn)原理，本篇我們來接著聊聊Driver，Application在注冊(cè)之...
-
Spark內(nèi)核分析之Master的注冊(cè)機(jī)制實(shí)現(xiàn)原理這篇文章我們來討論一下Master的注冊(cè)機(jī)制；那么有哪些信息需要注冊(cè)到Master上面去呢？很簡(jiǎn)單，分別有Worker的注冊(cè)，Driver的注冊(cè)...
-
Spark內(nèi)核分析之Spark的HA源碼分析Spark作業(yè)運(yùn)行的集群環(huán)境有兩種，分別基于standalone模式和Yarn集群模式。我們知道Yarn集群提供了HA來保證了集群的高可用，而s...