引言 分布式計算的基本思路是將數(shù)據(jù)分為多個部分，將同樣的數(shù)據(jù)操作方式在數(shù)據(jù)的不同部分上執(zhí)行，分別獲得結果，然后通過“匯聚處理”的方式得到結果。如...
投稿
收錄了485篇文章 · 1341人關注
-
Spark應用分片介紹
-
Structured Streaming 分析StructedStreaming 流程分析 導言 Spark在2.*版本后加入StructedStreaming模塊，與流處理引擎Sparks...
-
Spark Streaming-Streaming Join 實現(xiàn)梳理
當前Spark Streaming-Streaming Join只支持： InnerJoin; LeftJoin; RightJoin; 整體思...
-
Spark的join什么情況下可以避免shuffle？Spark的join操作可能觸發(fā)shuffle操作。shuffle操作要經過磁盤IO，網絡傳輸，對性能影響比較大。本文聊一聊Spark的join...
-
Spark存儲內存在哪些地方用到？漫談Spark內存管理(一)有提到問題：“ Spark中用到內存的地方有哪些？存儲內存主要消耗在哪些地方？執(zhí)行內存主要消耗在哪些地方？”。本文就...
-
Spark 調優(yōu)之數(shù)據(jù)傾斜什么是數(shù)據(jù)傾斜？ Spark 的計算抽象如下 數(shù)據(jù)傾斜指的是：并行處理的數(shù)據(jù)集中，某一部分（如 Spark 或 Kafka 的一個 Partit...
-
hbase-spark bulk load(二)概述 之前寫過spark批量導入Hbase的案例：Spark、BulkLoad Hbase、單列、多列，實現(xiàn)了多列的操作。整個過程涉及到排序、分...
-
spark淺談學習和使用一段時間的spark， 對spark的總結一下，希望對大家有用，不介紹怎么使用， 只從設計上談談。 spark解決了什么問題？ 說sp...
-
Spark Streaming限流反壓機制源碼剖析本文基于spark streaming通過direct mode訪問kafka的場景，從源碼出發(fā)分析spark streaming如何實現(xiàn)數(shù)據(jù)讀...
-
Spark自建的邏輯內存管理器是怎么申請和釋放內存的？在漫談Spark內存管理(一)中，概述了Spark內存管理做的事情，并著重對unroll memory的概念做了解釋及分析。本文繼續(xù)討論Spar...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/234681/spark.jpg', '推薦專題《spark》（ 分享自 @簡書 ）','http://www.itdecent.cn/c/6157554bfdd9?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認gb2312'));){kind=link}