由于最近學(xué)習(xí)大數(shù)據(jù)開發(fā)，spark作為分布式內(nèi)存計(jì)算框架，當(dāng)前十分火熱，因此作為首選學(xué)習(xí)技術(shù)之一。Spark官方提供了三種集群部署方案： Sta...
投稿
收錄了23篇文章 · 20人關(guān)注
-
Spark on Yarn集群搭建詳細(xì)過(guò)程 -
Spark源碼分析：DAGScheduler
Spark源碼分析：DAGScheduler 概述 在RDD一文中提到： 定義RDD之后，程序員就可以在動(dòng)作（注：即action操作）中使用RD...
-
Spark排錯(cuò)與優(yōu)化
一. 運(yùn)維 1. Master掛掉,standby重啟也失效 Master默認(rèn)使用512M內(nèi)存，當(dāng)集群中運(yùn)行的任務(wù)特別多時(shí)，就會(huì)掛掉，原因是ma...
-
HDFS機(jī)架感知功能原理（rack awareness）
HDFS NameNode對(duì)文件塊復(fù)制相關(guān)所有事物負(fù)責(zé)，它周期性接受來(lái)自于DataNode的HeartBeat和BlockReport信息，HD...
-
深入理解groupByKey、reduceByKey
測(cè)試源碼 下面來(lái)看看groupByKey和reduceByKey的區(qū)別： 雖然兩個(gè)函數(shù)都能得出正確的結(jié)果， 但reduceByKey函數(shù)更適合使...
-
Spark Streaming使用Kafka保證數(shù)據(jù)零丟失
源文件放在github，隨著理解的深入，不斷更新，如有謬誤之處，歡迎指正。原文鏈接https://github.com/jacksu/utils...
-
Spark 2.0 Structured Streaming 分析前言 Spark 2.0 將流式計(jì)算也統(tǒng)一到DataFrame里去了，提出了Structured Streaming的概念，將數(shù)據(jù)源映射為一張無(wú)...
-
Spark新愿景：讓深度學(xué)習(xí)變得更加易于使用
前言 Spark成功的實(shí)現(xiàn)了當(dāng)年的承諾，讓數(shù)據(jù)處理變得更容易，現(xiàn)在，雄心勃勃的Databricks公司展開了一個(gè)新的愿景：讓深度學(xué)習(xí)變得更容易。...
-
Spark 內(nèi)存管理的前世今生（下）歡迎關(guān)注我的微信公眾號(hào)：FunnyBigData 在《Spark 內(nèi)存管理的前世今生（上）》中，我們介紹了 UnifiedMemoryManag...
-
Spark SQL，DataFrame以及 Datasets 編程指南 - For 2.0
撰寫本文時(shí) Spark 的最新版本為 2.0.0 概述 Spark SQL 是 Spark 用來(lái)處理結(jié)構(gòu)化數(shù)據(jù)的一個(gè)模塊。與基礎(chǔ)的 Spark ...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/583319/u_3403924745_3822041383_fm_58_s_C09405738C26EE92615D7CE200009030.jpeg', '推薦專題《Spark慢慢來(lái)》（ 分享自 @簡(jiǎn)書 ）','http://www.itdecent.cn/c/2db63d7fb49d?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁(yè)面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}