Delta Lake 是什么？簡單的說就是為大數(shù)據(jù)場景添加了事務功能，并且支持了 update/delete/merge into 等功能， D...
投稿
收錄了187篇文章 · 2220人關注
-
Delta Lake 平臺化實踐（離線篇)
-
Delta Presto Integration & Manifests 機制
Delta 0.5 已于上周發(fā)布，增加了不少新特性，這篇文章主要講解其 Presto Integration 和 Manifests 機制。該功...
-
記一次Spark Yarn Shuffle Service升級引發(fā)的血案前言 Spark YarnShuffleService是作為Hadoop Yarn模塊中NodeManager的輔助服務寄生在其進程內(nèi)部，大家都...
-
數(shù)據(jù)本地性對 Spark 生產(chǎn)作業(yè)容錯能力的負面影響數(shù)據(jù)本地性是 Spark 等計算引擎從計算性能方面去考量的一個重要指標，對于某個數(shù)據(jù)分片的運算，Spark 在調度側會做數(shù)據(jù)本地性的預測，然后盡...
-
Spark on k8s: 配置和使用ConfigMap什么是 ConfigMap 顧名思義，用來存配置的Map，可以存單個配置或者配置文件，在 POD 中我們可以通過環(huán)境變量來訪問單個配置和配置文件...
-
Spark存儲內(nèi)存在哪些地方用到？漫談Spark內(nèi)存管理(一)有提到問題：“ Spark中用到內(nèi)存的地方有哪些？存儲內(nèi)存主要消耗在哪些地方？執(zhí)行內(nèi)存主要消耗在哪些地方？”。本文就...
-
SPARK-21444踩坑記錄: DAGSchedulerEventProcessLoop failed when executor preempted
原文 前段時間工作中踩到SPARK-21444的坑，這里做個記錄。 1 場景描述 我們的一個spark app在正常運行幾個月后經(jīng)常出現(xiàn)driv...
-
spark stream消費kafka實現(xiàn)零丟失
場景 spark streaming接受到數(shù)據(jù)后，在spark中進行存儲，之后將kafka確認信息存儲到zookeeper上（kafka的偏移量...
-
深入理解Spark Streaming流量控制及反壓機制目錄 流量控制簡介 Spark Streaming流控基本設置 Spark Streaming反壓機制的具體實現(xiàn)動態(tài)流量控制器基于PID機制的速...
-
Kafka+Spark Streaming如何保證exactly once語義在Kafka、Storm、Flink、Spark Streaming等分布式流處理系統(tǒng)中（沒錯，Kafka本質上是流處理系統(tǒng)，不是單純的“消息隊...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/30285/spark-vs-tez.png', '推薦專題《Spark深入學習》（ 分享自 @簡書 ）','http://www.itdecent.cn/c/dff5187d432f?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認gb2312'));){kind=link}