spark從1.6.0開(kāi)始內(nèi)存管理發(fā)生了變化，原來(lái)的內(nèi)存管理由StaticMemoryManager實(shí)現(xiàn)，現(xiàn)在被稱為L(zhǎng)egacy,在1.5.x和...
投稿
收錄了13篇文章 · 33人關(guān)注
-
Spark統(tǒng)一內(nèi)存管理
-
Spark 源碼解析 : DAGScheduler中的DAG劃分與提交一、Spark 運(yùn)行架構(gòu) Spark 運(yùn)行架構(gòu)如下圖：各個(gè)RDD之間存在著依賴關(guān)系，這些依賴關(guān)系形成有向無(wú)環(huán)圖DAG，DAGScheduler對(duì)...
-
Spark Rpc通信源碼分析Spark 1.6+推出了以RPCEnv、RPCEndpoint、RPCEndpointRef為核心的新型架構(gòu)下的RPC通信方式。其具體實(shí)現(xiàn)有A...
-
Spark的位置優(yōu)先: TaskSetManager 的有效 Locality Levelsbased on spark-1.5.1 standalone mode 在Spark Application Web UI的 Stages t...
-
16.Spark Streaming源碼解讀之?dāng)?shù)據(jù)清理機(jī)制解析
本期內(nèi)容：一、Spark Streaming 數(shù)據(jù)清理總覽二、****Spark Streaming ****數(shù)據(jù)清理過(guò)程詳解三、****Spa...
-
15、Spark Streaming源碼解讀之No Receivers徹底思考
在前幾期文章里講了帶Receiver的Spark Streaming 應(yīng)用的相關(guān)源碼解讀，但是現(xiàn)在開(kāi)發(fā)Spark Streaming的應(yīng)用越來(lái)越...
-
14：Spark Streaming源碼解讀之State管理之updateStateByKey和mapWithState解密
首先簡(jiǎn)單解釋一下什么是state(狀態(tài))管理？我們以wordcount為例。每個(gè)batchInterval會(huì)計(jì)算當(dāng)前batch的單詞計(jì)數(shù)，那如果...
-
Spark-Streaming Windows開(kāi)發(fā)環(huán)境案例搭建運(yùn)行（圖文）前言 最近在專注Spark開(kāi)發(fā)，記錄下自己的工作和學(xué)習(xí)路程，希望能跟大家互相交流成長(zhǎng)具體代碼可參考本人GitHub地址：https://gith...
-
Spark RDD數(shù)據(jù)關(guān)聯(lián)過(guò)濾案例
前言 最近在專注Spark開(kāi)發(fā)，記錄下自己的工作和學(xué)習(xí)路程，希望能跟大家互相交流成長(zhǎng)QQ:86608625 微信:guofei1990123 ...
-
第12課：Spark Streaming源碼解讀之Executor容錯(cuò)安全性一、Spark Streaming 數(shù)據(jù)安全性的考慮： Spark Streaming不斷的接收數(shù)據(jù)，并且不斷的產(chǎn)生Job，不斷的提交Job給集...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/257532/spakr.jpg', '推薦專題《Spark技術(shù)》（ 分享自 @簡(jiǎn)書(shū) ）','http://www.itdecent.cn/c/d890dfc0ec98?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁(yè)面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}