記錄一下個(gè)人對sparkSql的catalyst這個(gè)函數(shù)式的可擴(kuò)展的查詢優(yōu)化器的理解，目錄如下， Overview Spark SQL的核心是C...
投稿
收錄了13篇文章 · 5人關(guān)注
-
Spark SQL Catalyst優(yōu)化器 -
Spark消息通信原理一.NettyRpcEnv主要組件 子組件TransportConf，Dispatcher，TransportClientFactory，Tra...
-
淺析 Spark Shuffle 內(nèi)存使用在使用 Spark 進(jìn)行計(jì)算時(shí)，我們經(jīng)常會碰到作業(yè) (Job) Out Of Memory(OOM) 的情況，而且很大一部分情況是發(fā)生在 Shu...
-
Spark的數(shù)據(jù)本地化和延遲調(diào)度策略
一.概述 Spark數(shù)據(jù)本地化即計(jì)算向數(shù)據(jù)移動(dòng)，但數(shù)據(jù)塊所在的Executor不一定有足夠的的計(jì)算資源提供，為了讓task能盡可能的以最優(yōu)本地化...
-
Spark中BlockManager的存儲原理一.整體架構(gòu) Spark的存儲介質(zhì)包括磁盤和內(nèi)存。 Spark的存儲采用了主從模型，存儲模塊使用了基于Netty的RPC消息通信方式。Block...
-
Spark內(nèi)存儲級別性能測試及其選擇
Spark有多種儲級別，下面我用數(shù)據(jù)的方式展示各種存儲級別的區(qū)別和其選擇，希望能給在座各位在工作中或面試中一點(diǎn)幫助！轉(zhuǎn)載請注明出處：Michae...
-
Spark源碼分析之作業(yè)和任務(wù)調(diào)度流程一.前言 Spark的作業(yè)和任務(wù)調(diào)度系統(tǒng)是其核心。Spark的作業(yè)調(diào)度主要是基于RDD的一系列操作構(gòu)成一個(gè)作業(yè)，然后在Executor上執(zhí)行，這...
-
Spark源碼分析之SparkSubmit的流程準(zhǔn)備 本文主要對SparkSubmit的任務(wù)提交流程源碼進(jìn)行分析。Spark源碼版本為2.3.1。 首先閱讀一下啟動(dòng)腳本，看看首先加載的是哪個(gè)類...
-
Spark源碼分析之Excutor資源分配流程一.前言 在用戶提交應(yīng)用程序時(shí),SparkContext會向Master發(fā)送注冊消息，并由Master給該應(yīng)用分配Executor。 這里的Sp...
-
Spark源碼分析之Master的啟動(dòng)流程
準(zhǔn)備 本文主要對Master的啟動(dòng)流程源碼進(jìn)行分析。Spark源碼版本為2.3.1。 閱讀源碼首先從啟動(dòng)腳本入手，看看首先加載的是哪個(gè)類，我們看...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1781616/spark%E6%88%AA%E5%9B%BE.png', '推薦專題《Spark》（ 分享自 @簡書 ）','http://www.itdecent.cn/c/976def228dc2?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}