發(fā)簡(jiǎn)信
IP屬地：北京
-
Spark Streaming資源動(dòng)態(tài)申請(qǐng)和動(dòng)態(tài)控制消費(fèi)速率原理剖析
Spark是粗粒度的，即在默認(rèn)情況下會(huì)預(yù)先分配好資源，再進(jìn)行計(jì)算。 好處是資源提前分配好，有計(jì)算任務(wù)時(shí)就直接使用計(jì)算資源，不用再考慮資源分配。 ...
-
Spark Streaming源碼解讀之?dāng)?shù)據(jù)清理內(nèi)幕徹底解密
SparkStreaming應(yīng)用是持續(xù)不斷地運(yùn)行著的。如果不對(duì)內(nèi)存資源進(jìn)行有效管理，內(nèi)存就有可能很快就耗盡。 SparkStreaming應(yīng)用一...
-
Spark Streaming源碼解讀之No Receivers徹底思考
前面的課程中主要是使用ReceiverInputDStream，是針對(duì)Receiver方式開(kāi)展的剖析。 企業(yè)級(jí)Spark Strea...
-
Spark Streaming源碼解讀之State管理之updateStateByKey和mapWithState解密
從這節(jié)課開(kāi)始，簡(jiǎn)介Spark Streaming的狀態(tài)管理。 SparkStreaming 是按BatchDuration來(lái)劃分Job的，但我們...
-
spark streaming源碼解讀之基于貫通Spark Streaming流計(jì)算框架的運(yùn)行源碼
1在線動(dòng)態(tài)計(jì)算分類最熱門商品案例回顧與演示 我們用SparkStreaming+SparkSQL來(lái)實(shí)現(xiàn)分類最熱門商品的在線動(dòng)態(tài)計(jì)算。代碼如下： ...
-
Spark Streaming源碼解讀之Driver容錯(cuò)安全性
從數(shù)據(jù)層面，ReceivedBlockTracker為整個(gè)SparkStreaming應(yīng)用程序記錄元數(shù)據(jù)信息。 從調(diào)度層面，DStreamGra...
-
Spark Streaming源碼解讀之流數(shù)據(jù)不斷接收全生命周期徹底研究和思考
Spark Streaming應(yīng)用程序有以下特點(diǎn)： 1. 不斷持續(xù)接收數(shù)據(jù) 2. Receiver和Driver不在同一節(jié)點(diǎn)中 Spark...
-
Spark Streaming源碼解讀之Receiver生成全生命周期徹底研究和思考
一：Receiver啟動(dòng)的方式設(shè)想 1.Spark Streaming通過(guò)Receiver持續(xù)不斷的從外部數(shù)據(jù)源接收數(shù)據(jù)，并把數(shù)據(jù)匯報(bào)給Driv...
-
Spark Streaming源碼解讀之RDD生成全生命周期徹底研究和思考
RDD的三個(gè)問(wèn)題 1.RDD到底是怎么生成的 2.具體執(zhí)行的時(shí)候，是否和基于Spark Core上的RDD有所不同，runtime級(jí)別的 3.運(yùn)...