實現(xiàn)思想 與MR實現(xiàn)思想一致 分而治之的思想,在Spark計算引擎中，思想與MapReduce一樣，但是將輸入數(shù)據(jù)、處理數(shù)據(jù)和輸出數(shù)據(jù)封裝抽象...
投稿
收錄了88篇文章 · 6人關(guān)注
-
Spark 數(shù)據(jù)抽象 彈性分布式數(shù)據(jù)集RDD（Resilient Distributed Dataset） -
spark 一些概念記錄主要的component standalone模式下： Master+work 的組網(wǎng)模式，master可以配置HA，可以通過 zookeepe...
-
Spark Shuffle
Spark 內(nèi)存管理和消費模型 Spark Shuffle 過程 Spark Shuffle OOM 可能性分析 一、Spark 內(nèi)存管理和消費...
-
spark 內(nèi)存管理1. spark 內(nèi)存用不好是怎樣的情況？ storage（緩存） 已經(jīng)存儲在磁盤上，說明 預留給緩存的內(nèi)存偏少 在一個stage 執(zhí)行的若干個...
-
Spark架構(gòu)模式與Flink的對比Spark架構(gòu)模式與Flink的對比 Spark和Flink都屬于流批一體的分布式計算引擎。Flink屬于流處理框架，通過流來模擬批，Spark...
-
SparkConf 配置與傳播
在spark分布式程序中，sparkConf 主要起著Spark程序進行資源配置，性能調(diào)優(yōu)，功能開關(guān)，參數(shù)傳遞的能力。在Spark的Driver...
-
八種解決 Spark 數(shù)據(jù)傾斜的方法
一、什么是數(shù)據(jù)傾斜 對 Spark/Hadoop 這樣的分布式大數(shù)據(jù)系統(tǒng)來講，數(shù)據(jù)量大并不可怕，可怕的是數(shù)據(jù)傾斜。 對于分布式系統(tǒng)而言，理想情況...
-
Spark[四]——Spark并行度
Spark并行度指在Spark作業(yè)中，各個Stage中task的數(shù)量，也就代表了Spark作業(yè)在各個階段的并行度。合理設置并行度可以從以下幾個方...
-
5W字總結(jié)Spark（三）(建議收藏)
八、Spark 數(shù)據(jù)傾斜 詳見： 八種解決 Spark 數(shù)據(jù)傾斜的方法http://www.itdecent.cn/p/a917c9969cf...
-
Zeppelin Spark SQL Hive 查詢不一致問題
Zeppelin SparkSQL Hive 查詢不一致問題 1. 問題 Zeppelin Spark sql 查詢出的數(shù)據(jù)量與 hive 不一...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1839103/timg.jpeg', '推薦專題《Spark》（ 分享自 @簡書 ）','http://www.itdecent.cn/c/7ca1083e4036?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認gb2312'));){kind=link}