目錄 前言 RPC底層概覽 傳輸配置TransportConf 傳輸上下文TransportContext成員屬性與構(gòu)造方法創(chuàng)建傳輸客戶端工廠T...
投稿
收錄了38篇文章 · 130人關(guān)注
-
Spark Core源碼精讀計(jì)劃 番外篇B-1：重回Spark RPC環(huán)境 -
Spark Core源碼精讀計(jì)劃#31：BlockManager塊寫入流程目錄 前言 塊寫入流程塊寫入的入口doPutIterator()方法doPut()方法 總結(jié) 前言 一個(gè)多月沒顧上這個(gè)專題，慚愧慚愧。十一期間盡...
-
Spark Core源碼精讀計(jì)劃#30：終于講到的BlockManager及其管理的塊讀取流程
目錄 前言 BlockManager的初始化構(gòu)造方法與屬性成員初始化方法塊讀寫的入口 塊讀取流程從本地讀取數(shù)據(jù)從遠(yuǎn)端讀取數(shù)據(jù) 總結(jié) 前言 如題，...
-
Spark Core源碼精讀計(jì)劃#29：BlockManager主從及RPC邏輯目錄 前言 初始化BlockManagerMaster與RPC端點(diǎn) 主RPC端點(diǎn)BlockManagerMasterEndpoint構(gòu)造方法與屬...
-
Spark Core源碼精讀計(jì)劃#28：磁盤存儲(chǔ)DiskStore
目錄 前言 磁盤存儲(chǔ)DiskStore構(gòu)造方法與屬性成員寫入塊寫入字節(jié)讀取字節(jié) 磁盤塊數(shù)據(jù)DiskBlockData轉(zhuǎn)化為ChunkedByte...
-
Spark Core源碼精讀計(jì)劃#27：磁盤塊管理器DiskBlockManager目錄 前言 磁盤塊管理器DiskBlockManager構(gòu)造方法與屬性成員創(chuàng)建本地存儲(chǔ)目錄獲取存儲(chǔ)文件及創(chuàng)建子目錄創(chuàng)建臨時(shí)塊文件綁定關(guān)閉鉤子與關(guān)...
-
Spark Core源碼精讀計(jì)劃#21：Spark存儲(chǔ)中塊（Block）的基本實(shí)現(xiàn)目錄 前言 塊ID：BlockId 塊數(shù)據(jù)：BlockDataBlockData特征ByteBufferBlockDataChunkedByte...
-
Spark Core源碼精讀計(jì)劃#26：內(nèi)存存儲(chǔ)MemoryStore的具體實(shí)現(xiàn)
目錄 前言 MemoryEntry MemoryStore構(gòu)造與屬性成員直接寫入字節(jié)寫入迭代器化的數(shù)據(jù)讀取字節(jié)與迭代器化的數(shù)據(jù)淘汰緩存塊 總結(jié) ...
-
Spark Core源碼精讀計(jì)劃#25：UnifiedMemoryManager——統(tǒng)一內(nèi)存管理機(jī)制目錄 前言 統(tǒng)一內(nèi)存管理器UnifiedMemoryManager構(gòu)造方法計(jì)算內(nèi)存量統(tǒng)一內(nèi)存管理布局圖示申請/借用存儲(chǔ)內(nèi)存申請/借用執(zhí)行內(nèi)存 總...
-
Spark Core源碼精讀計(jì)劃#24：StaticMemoryManager——靜態(tài)內(nèi)存管理機(jī)制目錄 前言 MemoryManager的初始化 靜態(tài)內(nèi)存管理器StaticMemoryManager構(gòu)造方法計(jì)算堆內(nèi)存儲(chǔ)/執(zhí)行內(nèi)存總量內(nèi)存申請方...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1733241/spark-logo-trademark.png', '推薦專題《Spark源碼精讀分析計(jì)劃》（ 分享自 @簡書 ）','http://www.itdecent.cn/c/412176221a5f?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}