1.問題：項(xiàng)目中使用 spark save parquet 到 impala( impala 為分區(qū)表 ) 的目錄下面，然后在 impala 中...
投稿
收錄了60篇文章 · 232人關(guān)注
-
spark save parquet in impala dir not support add columns
-
spark淺談學(xué)習(xí)和使用一段時(shí)間的spark， 對(duì)spark的總結(jié)一下，希望對(duì)大家有用，不介紹怎么使用， 只從設(shè)計(jì)上談?wù)劇?spark解決了什么問題？ 說(shuō)sp...
-
Coarse Grained究竟是什么意思？
Spark的Driver本身就是Scheduler，完整的類名叫做CoarseGrainedSchedulerBackend，為什么叫Coars...
-
Spark學(xué)習(xí)（一）——入門與集群搭建現(xiàn)在來(lái)學(xué)一學(xué)spark這個(gè)內(nèi)存計(jì)算引擎，主要應(yīng)用于大規(guī)模數(shù)據(jù)的計(jì)算。 一、簡(jiǎn)介 和MapReduce都是計(jì)算引擎，但兩者還是有很大區(qū)別的，Map...
-
Spark 共享變量
翻譯 Spark 共享變量部分的官方文檔（Spark 2.4.3）。 通常，當(dāng)傳遞給 Spark 操作 (如 map 或 reduce ) 的函...
-
netty源碼走讀(服務(wù)端Channel創(chuàng)建流程)
概念： NioEventLoop： Channel: ByteBuf: PipeLine: ChannelHandler: 服務(wù)器端啟動(dòng)流程： ...
-
spark底層源碼解析之作業(yè)提交:
作業(yè)的提交做的主要的事情是:通過提交的最后一個(gè)rdd的依賴關(guān)系來(lái)劃分stage,在再將stage轉(zhuǎn)換成task,由diver端發(fā)送給一個(gè)個(gè)的將t...
-
Spark RDD上的map operators是如何pipeline起來(lái)的？最近在工作討論中，同事提出了這么一個(gè)問題：作用在一個(gè)RDD/DataFrame上的連續(xù)的多個(gè)map是在對(duì)數(shù)據(jù)的一次循環(huán)遍歷中完成的還是需要多次循...
-
spark底層源碼解析之通信:
這是本人第一次發(fā)表技術(shù)帖,借鑒了很多大神的文章和自己的一些拙見,有什么不正確的大家可以指出來(lái),共同進(jìn)步 Spark底層RPC通信:記住這里是以事...
-
spark+hadoop環(huán)境搭建硬件：Ubuntu16.04 server 2臺(tái)軟件版本：hadoop-2.6.5.tar.gzjdk-8u191-linux-x64.tar....
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/265659/0.jpg', '推薦專題《Spark學(xué)習(xí)之路》（ 分享自 @簡(jiǎn)書 ）','http://www.itdecent.cn/c/2df17d48f138?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁(yè)面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}