問題背景 筆者所在的部門屬于公司的大數(shù)據(jù)架構(gòu)部，現(xiàn)主要參與公司流式計(jì)算平臺的推廣，個(gè)人負(fù)責(zé)spark的平臺維護(hù)、特性定制、線上問題修改等。為了方...
投稿
收錄了51篇文章 · 23人關(guān)注
-
spark管理平臺支持多用戶 -
Spark DataFrame使用問題記錄：insertInto引起大量文件問題1 問題描述 最近工作中有使用到spark sql的DataFrameWriter.insertInto函數(shù)往Hive表插入數(shù)據(jù)。在一次測試中，...
-
如何避免Spark SQL做數(shù)據(jù)導(dǎo)入時(shí)產(chǎn)生大量小文件什么是小文件？ 生產(chǎn)上，我們往往將Spark SQL作為Hive的替代方案，來獲得SQL on Hadoop更出色的性能。因此，本文所講的是指存...
-
Spark on Yarn 為什么出現(xiàn)內(nèi)存超界container被kill
一個(gè)Executor對應(yīng)一個(gè)JVM進(jìn)程。 從Spark的角度看，Executor占用的內(nèi)存分為兩部分：ExecutorMemory和Memory...
-
Spark 數(shù)據(jù)讀取冷啟動優(yōu)化分析有時(shí)候會發(fā)現(xiàn)即使是讀取少量的數(shù)據(jù)，啟動延時(shí)可能也非常大，針對該現(xiàn)象進(jìn)行分析，并提供一些解決思路。 背景 Spark 一次查詢過程可以簡單抽象為 ...
-
Spark HiveThriftServer2啟動流程源碼分析
背景 接觸SparkSQL不久，查找了些別人的資料，感覺對整個(gè)Spark HiveThriftServer2流程講的糊里糊涂的，覺得需要從Bee...
-
Spark - 動態(tài)注冊UDF昨天有位大哥問小弟一個(gè)Spark問題，他們想在不停Spark程序的情況下動態(tài)更新UDF的邏輯，他一問我這個(gè)問題的時(shí)候，本豬心里一驚，Spark*...
-
基于SparkSQL實(shí)現(xiàn)的一套即席查詢服務(wù)IQL (項(xiàng)目地址：https://github.com/teeyog/IQL) English | 簡體中文 基于SparkSQL實(shí)現(xiàn)了一套即...
-
Spark2.1和2.2 SQL物理執(zhí)行策略關(guān)鍵源碼分析
1. 文章開始之前 先附上一句SQL，使用tpc-ds的表結(jié)構(gòu)，我們圍繞這句SQL講。 SQL： SQL> selectavg(cs_ext_d...
-
Spark聚合下推思路以及demo
Spark原本預(yù)計(jì)在2.3版本實(shí)現(xiàn)聚合下推，雖然不知道是何原因最終沒有能夠在2.3版本最終實(shí)現(xiàn)，但是因?yàn)楣ぷ餍枰?，必須要從聚合函?shù)下手優(yōu)化Spa...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/360698/1491659229.jpg', '推薦專題《spark生態(tài)系統(tǒng)》（ 分享自 @簡書 ）','http://www.itdecent.cn/c/7f7a8b64daae?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}