前言 經(jīng)過(guò)前幾篇文章的介紹,大致了解了生產(chǎn)者背后的運(yùn)行原理。消息有生產(chǎn)就得有人去消費(fèi),今天我們就來(lái)介紹下消費(fèi)端消費(fèi)消息背后發(fā)生的那點(diǎn)事兒。 ?文...
?前言 上篇文章講述了消息從生產(chǎn)到寫入到 Broker 的 partition 上背后發(fā)生的故事,并提出了消息發(fā)送的網(wǎng)絡(luò)模型的問(wèn)題。本篇文章我們...
最近一直在忙,沒(méi)顧得上寫文章,新年的第一篇文章,希望大家可以喜歡;好了,今天接著之前的內(nèi)容,來(lái)聊聊BlockManager的工作原理,上圖來(lái)分析...
如題,我們來(lái)分析一下spark的shuffle操作原理;為什么說(shuō)其非常重要,是因?yàn)閟huffle操作是我們?cè)赟park調(diào)優(yōu)中非常重要的一環(huán),對(duì)s...
接著上一篇,我們接著來(lái)分析下一個(gè)非常重要的組建DAGScheduler的運(yùn)行原理是怎么實(shí)現(xiàn)的;通過(guò)之前對(duì)Spark的分析講解,我們的Spark作...
接著上篇的Schedule調(diào)度內(nèi)容,本篇我們來(lái)看看Driver,Application向Worker發(fā)送launch以后到底發(fā)生了什么。先來(lái)看看...
上一篇我們闡述了Driver,Application,Worker的注冊(cè)實(shí)現(xiàn)原理,本篇我們來(lái)接著聊聊Driver,Application在注冊(cè)之...
這篇文章我們來(lái)討論一下Master的注冊(cè)機(jī)制;那么有哪些信息需要注冊(cè)到Master上面去呢?很簡(jiǎn)單,分別有Worker的注冊(cè),Driver的注冊(cè)...
Spark作業(yè)運(yùn)行的集群環(huán)境有兩種,分別基于standalone模式和Yarn集群模式。我們知道Yarn集群提供了HA來(lái)保證了集群的高可用,而s...