這篇內(nèi)容基于我去年的一些感悟?qū)懙?，但是今年才在Stuq 的微信群做的分享。從技術(shù)角度而言，對Spark的掌握和使用還是顯得很手生的。但是今天一位做數(shù)據(jù)分析相關(guān)的朋友說，受這篇...
發(fā)簡信
IP屬地：山東
-
(課程)基于Spark的機(jī)器學(xué)習(xí)經(jīng)驗
-
【Spark】Spark基本概念
Spark專用名詞 RDD ---- resillient distributed dataset 彈性分布式數(shù)據(jù)集 Operation ---- 作用于RDD的各種操作分為...
-
大數(shù)據(jù)三重門這篇文章對大數(shù)據(jù)未來的發(fā)展趨勢做了一個推演，如能對大家有所啟發(fā)更好，否則權(quán)當(dāng)做一篇碎片化時代產(chǎn)生的快速消費(fèi)品一看而過即可。 大數(shù)據(jù)第一重 這是大數(shù)據(jù)的第一階段，也是大數(shù)據(jù)當(dāng)前...
-
[源碼剖析]Spark讀取配置Spark讀取配置 我們知道，有一些配置可以在多個地方配置。以配置executor的memory為例，有以下三種方式： spark-submit的--executor-mem...
-
Spark 多個Stage執(zhí)行是串行執(zhí)行的么？上次在做內(nèi)部培訓(xùn)的時候，我講了這么一句： 一個Job里的Stage都是串行的，前一個Stage完成后下一個Stage才會進(jìn)行。 顯然上面的話是不嚴(yán)謹(jǐn)?shù)摹?看如下的代碼： 這里...
-
Spark 1.6 內(nèi)存管理模型( Unified Memory Management)分析
2016年1月4號 Spark 1.6 發(fā)布。提出了一個新的內(nèi)存管理模型： Unified Memory Management。這篇文章會詳細(xì)分析新的內(nèi)存管理模型，方便大家做...
