背景 Spark支持多種數(shù)據(jù)源，但是Spark對(duì)HBase 的讀寫(xiě)都沒(méi)有相對(duì)優(yōu)雅的api，但spark和HBase整合的場(chǎng)景又比較多，故通過(guò)sp...
投稿
收錄了30篇文章 · 236人關(guān)注
-
Spark整合HBase（自定義HBase DataSource）
-
Spark UnifiedMemoryManager之maybeGrowExecutionPool()分析
Note：本文要求讀者對(duì)UnifiedMemoryManager的原理有基本的了解。希望讀者能與作者一起探討。 本文試圖分析UnifiedMem...
-
[spark streaming] 狀態(tài)管理 updateStateByKey&mapWithState
前言 SparkStreaming 7*24 小時(shí)不間斷的運(yùn)行，有時(shí)需要管理一些狀態(tài)，比如wordCount，每個(gè)batch的數(shù)據(jù)不是獨(dú)立的而是...
-
Spark編譯(使用阿里云maven倉(cāng)庫(kù))
我以近十天的編譯Spark的痛苦經(jīng)歷，來(lái)分享一下如何在國(guó)內(nèi)快速的完成Spark編譯。 其實(shí)，唯一的任務(wù)就是將Spark中的默認(rèn)maven中央倉(cāng)庫(kù)...
-
Spark Streaming一致性、容錯(cuò)機(jī)制分析
Spark Streaming容錯(cuò)機(jī)制保障 參考https://databricks.com/blog/2015/01/15/improved-...
-
1、Catalyst源碼解讀之SqlParser本篇文章基于Spark1.6.1源碼解讀Catalyst下的SqlParser spark sql中可以分三種sql語(yǔ)句第一種DDL語(yǔ)句，DDL...
-
Spark 2.0 Structured Streaming 分析前言 Spark 2.0 將流式計(jì)算也統(tǒng)一到DataFrame里去了，提出了Structured Streaming的概念，將數(shù)據(jù)源映射為一張無(wú)...
-
利用 Spark DataSource API 實(shí)現(xiàn)Rest數(shù)據(jù)源
Spark DataSource API 的提出使得各個(gè)數(shù)據(jù)源按規(guī)范實(shí)現(xiàn)適配，那么就可以高效的利用Spark 的計(jì)算能力。典型如Parquet,...
-
Spark Streaming 中使用c3p0連接池操作mysql數(shù)據(jù)庫(kù)
在Spark Streaming的應(yīng)用程序中，有時(shí)候需要將計(jì)算結(jié)果保存到數(shù)據(jù)庫(kù)中，為了高效這里使用批量插入，結(jié)合c3po連接池，說(shuō)明一下使用方法...
-
Spark Streaming源碼解析
目錄### Spark Streaming 透徹理解之一 通過(guò)案例對(duì)SparkStreaming透徹理解之 spark streaming運(yùn)行機(jī)...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/256978/spark-logo-trademark.png', '推薦專(zhuān)題《Spark源碼解析》（ 分享自 @簡(jiǎn)書(shū) ）','http://www.itdecent.cn/c/549f76a0f3b1?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁(yè)面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}