1.為應(yīng)用構(gòu)建基本運行環(huán)境，Driver 創(chuàng)建SparkContext進行資源的申請，任務(wù)的分配，監(jiān)控。2.ClusterManager為Exe...
投稿
收錄了19篇文章 · 3人關(guān)注
-
spark 運行架構(gòu)
-
spark core
fastdisk 10xmemory 100x easycodeinteractive shell unified stackbatchstre...
-
RDD五大特性
1. a list of partitions 2. a function for computing each split 3. a list...
-
sparkcore進行wordcount詞頻統(tǒng)計
準(zhǔn)備一份數(shù)據(jù)/home/admin/data/helloworld.txt 按照詞頻排序
-
sparkcore的join
先準(zhǔn)備兩個rdd數(shù)據(jù) 1.a join b得到的結(jié)果 2.a leftOuterJoin b得到的結(jié)果 3.a rightOutJoin b得到...
-
Rdd的操作
1.transformation lazy:僅僅記錄transformation路徑，不發(fā)生操作 map 對每一個元素進行轉(zhuǎn)換 filter 對...
-
Rdd的創(chuàng)建
1.通過集合生成 Spark will run one task for each partition of the cluster.一個par...
-
hdfs ha架構(gòu)
1.兩個namenode，在同一個工作空間，一個active一個standby，只有一個是正在運行提供服務(wù)，有zookeeper控制2.data...
-
HBase上面regionserver宕機之后的處理
1.zookeeper上面沒收到regionserver心跳，發(fā)現(xiàn)掉線2.HLog進行拆分，分配到相應(yīng)的region上面3.region分發(fā)到相...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/1701412/d88af094a85204887d03aa8de0c67cc7.jpg', '推薦專題《大數(shù)據(jù)學(xué)習(xí)之路》（ 分享自 @簡書 ）','http://www.itdecent.cn/c/5c7611a70b4f?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁面編碼gb2312|utf-8默認gb2312'));){kind=link}