問題描述 我們最近有個項目，需要實時消費(fèi)訂單成單的消息，提煉完數(shù)據(jù)后把結(jié)果寫入HDFS，因此checkpointConfiguration 自然...
投稿
收錄了21篇文章 · 249人關(guān)注
-
Spark Structured Streaming 寫checkpoint 到HDFS 抖動的排查 -
是時候丟掉Spark Streaming 升級到Structured Streaming了
前言 又是一個超長的標(biāo)題（攤手┓( ′?` )┏）。Spark Streaming 歷史比較悠久，也確實非常好用，更重要的是，大家已經(jīng)用熟了，有...
-
Structured Streaming如何實現(xiàn)Parquet存儲目錄按時間分區(qū)
緣由 StreamingPro現(xiàn)在支持以SQL腳本的形式寫Structured Streaming流式程序了： mlsql-stream。不過期...
-
StreamingPro支持Flink的流式計算了前言 有的時候我們只要按條處理，追求實時性而非吞吐量的時候，類似Storm的模式就比較好了。Spark 在流式處理一直缺乏改進(jìn)，而Flink在流...
-
Spark Streaming 不同Batch任務(wù)可以并行計算么？
關(guān)于Spark Streaming中的任務(wù)有如下幾個概念： Batch Job Stage Task 其實Stage,Task都是Spark C...
-
天天在做大數(shù)據(jù)，你的時間都花在哪了
大數(shù)據(jù)做了這許多年，有沒有問過自己，大數(shù)據(jù)中，工作量最大和技術(shù)難度最高的，分別是什么呢？ 前言 我每天都在思考，思考很重要，是一個消化和不斷深入...
-
Spark Streaming 數(shù)據(jù)產(chǎn)生與導(dǎo)入相關(guān)的內(nèi)存分析
前言 我這篇文章會分幾個點來描述Spark Streaming 的Receiver在內(nèi)存方面的表現(xiàn)。 一個大致的數(shù)據(jù)接受流程 一些存儲結(jié)構(gòu)的介紹...
-
Spark Streaming 數(shù)據(jù)接收優(yōu)化
看這篇文章前，請先移步Spark Streaming 數(shù)據(jù)產(chǎn)生與導(dǎo)入相關(guān)的內(nèi)存分析, 文章重點講的是從Kafka消費(fèi)到數(shù)據(jù)進(jìn)入BlockMana...
-
Spark Streaming Direct Approach (No Receivers) 分析
前言 這個算是Spark Streaming 接收數(shù)據(jù)相關(guān)的第三篇文章了。 前面兩篇是： Spark Streaming 數(shù)據(jù)產(chǎn)生與導(dǎo)入相關(guān)的內(nèi)...
-
Spark Streaming Crash 如何保證Exactly Once Semantics
這篇文章只是為了闡述Spark Streaming 意外Crash掉后，如何保證Exactly Once Semantics。本來這個是可以直接...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/256861/1464143018.jpg', '推薦專題《流式計算》（ 分享自 @簡書 ）','http://www.itdecent.cn/c/537a464360f9?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}