Spark的Driver本身就是Scheduler，完整的類(lèi)名叫做CoarseGrainedSchedulerBackend，為什么叫Coars...
投稿
收錄了152篇文章 · 679人關(guān)注
-
Coarse Grained究竟是什么意思？
-
Spark task的輸入太大如何分割？上周調(diào)優(yōu)一個(gè)job 的時(shí)候發(fā)現(xiàn)一個(gè)join 意外的耗時(shí)間，如圖上一個(gè)join的shuffle操作就耗時(shí)1.2h. Input 才91GB, s...
-
Spark RDD核心知識(shí)
一、Spark包括什么 spark的核心是Spark Core，其中上面的Spark Sql對(duì)接的是Hive等結(jié)構(gòu)化查詢，Spark Strea...
-
Spark withColumn 陷阱
withColumn / withColumnRenamed 是 spark 中常用的 API，可以用于添加新字段 / 字段重命名 / 修改字...
-
GeoSpark---Polygon查詢
環(huán)境idea-2020.1 + gradle-4.9 + scala-2.11 代碼如下： polygon.csv 數(shù)據(jù)集 輸出結(jié)果如下：
-
Delta Presto Integration & Manifests 機(jī)制
Delta 0.5 已于上周發(fā)布，增加了不少新特性，這篇文章主要講解其 Presto Integration 和 Manifests 機(jī)制。該功...
-
Delta Lake 平臺(tái)化實(shí)踐（離線篇)
Delta Lake 是什么？簡(jiǎn)單的說(shuō)就是為大數(shù)據(jù)場(chǎng)景添加了事務(wù)功能，并且支持了 update/delete/merge into 等功能， D...
-
Spark Streaming限流反壓機(jī)制源碼剖析本文基于spark streaming通過(guò)direct mode訪問(wèn)kafka的場(chǎng)景，從源碼出發(fā)分析spark streaming如何實(shí)現(xiàn)數(shù)據(jù)讀...
-
Spark on k8s: 調(diào)試Executor Pod的方法相關(guān)文章 1 . Spark on k8s: 調(diào)試客戶端spark-submit進(jìn)程 Spark on k8s: 調(diào)試Driver Pod的方法...
-
Spark on k8s: OkHttp WebSocket 非daemon線程導(dǎo)致Driver線程無(wú)法退出問(wèn)題描述 基于Spark 3.0-SNAPSHOT(unreleased)，做Spark-Terasort相關(guān)測(cè)試，任務(wù)正常的話分如下圖所示兩個(gè)...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/242604/1457761215.jpg', '推薦專題《Spark 應(yīng)用》（ 分享自 @簡(jiǎn)書(shū) ）','http://www.itdecent.cn/c/262d9b56b204?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁(yè)面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}