1 、數(shù)據(jù)傾斜 0：15：00 10招調(diào)優(yōu) 1.1 mapreduce回顧 1.2 spark應(yīng)用程序流程 ~0：42：00 1....
投稿
收錄了50篇文章 · 2人關(guān)注
-
Spark架構(gòu)師2-開發(fā)調(diào)優(yōu)和資源調(diào)優(yōu) -
Spark架構(gòu)師3-spark初始化和任務(wù)啟動源碼1、上次總結(jié) spark初始化環(huán)境資源 0:18:00~ 0:41:00 1、Spark RPC（Endpoint：DriverEndpo...
-
淺談Spark SQL語句解析與基于規(guī)則優(yōu)化（RBO）前言 近些年來，大數(shù)據(jù)領(lǐng)域“SQL化開發(fā)”的理念蔚然成風(fēng)，這是因為SQL是一種通用、學(xué)習(xí)成本低的語言，并且還有較強(qiáng)的數(shù)據(jù)描述能力。不少大數(shù)據(jù)框架...
-
Spark Core源碼精讀計劃 番外篇B-1：重回Spark RPC環(huán)境目錄 前言 RPC底層概覽 傳輸配置TransportConf 傳輸上下文TransportContext成員屬性與構(gòu)造方法創(chuàng)建傳輸客戶端工廠T...
-
Actor模型與Akka Actor體系基礎(chǔ)總結(jié)前言 最近用業(yè)余時間把Flink的RPC基礎(chǔ)設(shè)施翻了個底朝天，又與之前分析過的Spark RPC機(jī)制做了一些對比，越發(fā)覺得Actor模型甚為精妙...
-
【spark系列4】spark 3.0.1集成delta 0.7.0原理解析--delta自定義sql
前提 本文基于 spark 3.0.1delta 0.7.0我們都知道delta.io是一個給數(shù)據(jù)湖提供可靠性的開源存儲層的軟件，關(guān)于他的用處，...
-
【spark系列5】spark 3.0.1集成delta 0.7.0原理解析--delta如何進(jìn)行DDL DML操作以及Catalog plugin API
前提 本文基于 spark 3.0.1delta 0.7.0我們都知道delta.io是一個給數(shù)據(jù)湖提供可靠性的開源存儲層的軟件，關(guān)于他的用處，...
-
【spark系列6】spark delta寫操作ACID事務(wù)前傳--寫文件基礎(chǔ)類FileFormat/FileCommitProtocol分析
背景 本文基于delta 0.7.0spark 3.0.1我們知道spark或者mapreduce在寫文件的時候么，都會寫入的文件目錄中寫入一個...
-
【spark系列10】spark logicalPlan Statistics (邏輯計劃階段的統(tǒng)計信息)
背景 本文版本是spark 3.0.1 分析 邏輯階段的統(tǒng)計信息，對于邏輯階段的優(yōu)化也是很重要的，比如broadcathashJoin,dyna...
-
【spark系列9】spark 的動態(tài)分區(qū)裁剪上(Dynamic partition pruning)-邏輯計劃
背景 本文基于delta 0.7.0spark 3.0.1spark 3.x引入了動態(tài)分區(qū)裁剪，今天我們分析以下代碼是怎么實(shí)現(xiàn)的 分析 直接定位...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1944952/crop1616022099012.jpg', '推薦專題《spark》（ 分享自 @簡書 ）','http://www.itdecent.cn/c/b146d0493f3f?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}