這篇內(nèi)容基于我去年的一些感悟?qū)懙模墙衲瓴旁赟tuq 的微信群做的分享。從技術(shù)角度而言，對(duì)Spark的掌握和使用還是顯得很手生的。但是今天一位做數(shù)據(jù)分析相關(guān)的朋友說(shuō)，受這篇...
發(fā)簡(jiǎn)信
IP屬地：陜西
-
(課程)基于Spark的機(jī)器學(xué)習(xí)經(jīng)驗(yàn)
-
【Spark】Spark基本概念
Spark專用名詞 RDD ---- resillient distributed dataset 彈性分布式數(shù)據(jù)集 Operation ---- 作用于RDD的各種操作分為...
-
大數(shù)據(jù)三重門這篇文章對(duì)大數(shù)據(jù)未來(lái)的發(fā)展趨勢(shì)做了一個(gè)推演，如能對(duì)大家有所啟發(fā)更好，否則權(quán)當(dāng)做一篇碎片化時(shí)代產(chǎn)生的快速消費(fèi)品一看而過(guò)即可。 大數(shù)據(jù)第一重 這是大數(shù)據(jù)的第一階段，也是大數(shù)據(jù)當(dāng)前...
-
[源碼剖析]Spark讀取配置Spark讀取配置 我們知道，有一些配置可以在多個(gè)地方配置。以配置executor的memory為例，有以下三種方式： spark-submit的--executor-mem...
-
Spark 多個(gè)Stage執(zhí)行是串行執(zhí)行的么？上次在做內(nèi)部培訓(xùn)的時(shí)候，我講了這么一句： 一個(gè)Job里的Stage都是串行的，前一個(gè)Stage完成后下一個(gè)Stage才會(huì)進(jìn)行。 顯然上面的話是不嚴(yán)謹(jǐn)?shù)摹?看如下的代碼： 這里...
-
Spark 1.6 內(nèi)存管理模型( Unified Memory Management)分析
2016年1月4號(hào) Spark 1.6 發(fā)布。提出了一個(gè)新的內(nèi)存管理模型： Unified Memory Management。這篇文章會(huì)詳細(xì)分析新的內(nèi)存管理模型，方便大家做...
