spark的核心是sparkcore,sparkstreaming，sparkgraph,sparkmlib其實(shí)是構(gòu)建在sparkcore之上的...
投稿
收錄了21篇文章 · 81人關(guān)注
-
通過(guò)案例對(duì)spark streaming透徹理解三板斧之一 -
Spark Streaming源碼解讀之RDD生成全生命周期徹底研究和思考
RDD的三個(gè)問(wèn)題 1.RDD到底是怎么生成的 2.具體執(zhí)行的時(shí)候，是否和基于Spark Core上的RDD有所不同，runtime級(jí)別的 3.運(yùn)...
-
Spark Streaming源碼解讀之Receiver生成全生命周期徹底研究和思考
一：Receiver啟動(dòng)的方式設(shè)想 1.Spark Streaming通過(guò)Receiver持續(xù)不斷的從外部數(shù)據(jù)源接收數(shù)據(jù)，并把數(shù)據(jù)匯報(bào)給Driv...
-
Spark Streaming源碼解讀之流數(shù)據(jù)不斷接收全生命周期徹底研究和思考
Spark Streaming應(yīng)用程序有以下特點(diǎn)： 1. 不斷持續(xù)接收數(shù)據(jù) 2. Receiver和Driver不在同一節(jié)點(diǎn)中 Spark...
-
Spark Streaming資源動(dòng)態(tài)申請(qǐng)和動(dòng)態(tài)控制消費(fèi)速率原理剖析
Spark是粗粒度的，即在默認(rèn)情況下會(huì)預(yù)先分配好資源，再進(jìn)行計(jì)算。 好處是資源提前分配好，有計(jì)算任務(wù)時(shí)就直接使用計(jì)算資源，不用再考慮資源分配。 ...
-
你想成為Spark高手嗎？只要這6步！
伴隨Spark技術(shù)的普及推廣，對(duì)專(zhuān)業(yè)人才的需求日益增加。Spark專(zhuān)業(yè)人才在未來(lái)也是炙手可熱，輕而易舉可以拿到百萬(wàn)的薪酬。而要想成為Spark高...
-
Spark Streaming kafka 實(shí)現(xiàn)數(shù)據(jù)零丟失的幾種方式
在使用spark streaming消費(fèi)kafka數(shù)據(jù)時(shí)，程序異常中斷下發(fā)現(xiàn)會(huì)有數(shù)據(jù)丟失的情況。下文將說(shuō)明如何避免這種情況。 Definitio...
-
《使用Ambari搭建hadoop技術(shù)棧集群》一. 背景 hdfs,map-reduce,spark,yarn是大數(shù)據(jù)處理的基礎(chǔ)組件。在發(fā)展了幾年之后，已經(jīng)成為了比較通用的數(shù)據(jù)處理工具。記得...
-
【spark】sortByKey實(shí)現(xiàn)二次排序
最近在項(xiàng)目中遇到二次排序的需求，和平常開(kāi)發(fā)spark的application一樣，開(kāi)始查看API，編碼，調(diào)試，驗(yàn)證結(jié)果。由于之前對(duì)spark的A...
-
Spark Pair RDD基本操作Pair RDD基本操作 雖然大部分Spark的RDD操作都支持所有種類(lèi)的對(duì)象，但是有少部分特殊的操作只能作用于鍵值對(duì)類(lèi)型的RDD。這類(lèi)操作中最...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/243016/1458016948.jpg', '推薦專(zhuān)題《spark》（ 分享自 @簡(jiǎn)書(shū) ）','http://www.itdecent.cn/c/2f427790c4a9?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁(yè)面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}