[toc] 背景知識(shí): Spark與Hadoop差異 Spark是在借鑒了MapReduce之上發(fā)展而來(lái)的，繼承了其分布式并行計(jì)算的優(yōu)點(diǎn)并改進(jìn)了...
投稿
收錄了8篇文章 · 3人關(guān)注
-
怎樣高效使用spark？ -
通俗理解YARN運(yùn)行原理導(dǎo)語(yǔ)：工作中常常和Spark on YARN, Hadoop on YARN打交道，經(jīng)常在各種日志中摸爬滾打，為提升效率，總結(jié)一下YARN的知識(shí)...
-
Spark 2.x+IntelliJ IDEA 2017.3開(kāi)發(fā)環(huán)境搭建和開(kāi)發(fā)示例【原創(chuàng)】Helenykwang 于2018-01-13 18:10:18編寫(xiě) 不用maven，不用sbt，只需三個(gè)庫(kù) 一、環(huán)境說(shuō)明 集群：Spa...
-
Spark通信--client、master、worker間的通信
轉(zhuǎn)載自 http://www.wangsenfeng.com/articles/2016/10/26/1477467509513.html Cl...
-
Hadoop2.0 NameNode HA和Federation簡(jiǎn)明理解引子 為什么需要 NameNode HA 和 Federation ？ 1. 規(guī)避NameNode單點(diǎn)故障，secondary namenode...
-
MapReduce理解引子 為什么需要MapReduce？ 因?yàn)镸apReduce可以“分而治之”，將計(jì)算大數(shù)據(jù)的復(fù)雜任務(wù)分解成若干簡(jiǎn)單小任務(wù)。“簡(jiǎn)單”的意思是：計(jì)算...
-
HDFS理解引子 為什么需要HDFS？ 因?yàn)橐粋€(gè)物理計(jì)算機(jī)的存儲(chǔ)已經(jīng)hold不住我們龐大的數(shù)據(jù)集。 HDFS的特點(diǎn)是什么？ HDFS以流式數(shù)據(jù)訪問(wèn)模式來(lái)存儲(chǔ)...
-
hadoop學(xué)習(xí)路線
hadoop是一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，主要功能有存儲(chǔ)+計(jì)算，分別由hdfs和map-reduce模塊實(shí)現(xiàn)。 hadoop有單機(jī)部署、偽分布式部署...
{var%20f='http://v.t.sina.com.cn/share/share.php?appkey=1881139527',u=z||d.location,p=['&url=',e(u),'&title=',e(t||d.title),'&source=',e(r),'&sourceUrl=',e(l),'&content=',c||'gb2312','&pic=',e(p||'')].join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','https://upload.jianshu.io/collections/images/591076/hadoop-logo.jpg', '推薦專(zhuān)題《hadoop二三事》（ 分享自 @簡(jiǎn)書(shū) ）','http://www.itdecent.cn/c/3f1fed102dd5?utm_campaign=maleskine&utm_content=collection&utm_medium=reader_share&utm_source=weibo','頁(yè)面編碼gb2312|utf-8默認(rèn)gb2312'));){kind=link}