介紹:
Spark是用于大規(guī)模數(shù)據(jù)處理的統(tǒng)一分析引擎

spark的引入:
雖然MapReduce提供了對(duì)數(shù)據(jù)訪問和計(jì)算的抽象，但是對(duì)于數(shù)據(jù)的復(fù)用就是簡(jiǎn)單的將中間數(shù)據(jù)寫到一個(gè)穩(wěn)定的文件系統(tǒng)中(例如HDFS)，所以會(huì)產(chǎn)生數(shù)據(jù)的復(fù)制備份，磁盤的I/O以及數(shù)據(jù)的序列化，所以在遇到需要在多個(gè)計(jì)算之間復(fù)用中間結(jié)果的操作時(shí)效率就會(huì)非常的低.而這類操作是非常常見的，例如迭代式計(jì)算，交互式數(shù)據(jù)挖掘，圖計(jì)算等.認(rèn)識(shí)到這個(gè)問題后，學(xué)術(shù)界的 AMPLab 提出了一個(gè)新的模型，叫做 RDD.

RDD的簡(jiǎn)單理解:
1.RDD(彈性分布式數(shù)據(jù)集)是一個(gè)可以容錯(cuò)并行的數(shù)據(jù)結(jié)構(gòu)(理解:分布式的集合,操作就和操作本地集合一樣)
2.RDD提供了豐富的API(map,reduce,foreach,group...)來操作數(shù)據(jù)
3.將中間結(jié)果數(shù)據(jù)集保存在內(nèi)存中

為什么使用spark:
中間數(shù)據(jù)存在內(nèi)存中,運(yùn)行數(shù)據(jù)快,操作數(shù)據(jù)的api豐富,開發(fā)速度快.

spark的特點(diǎn):
快,易用,通用,可有運(yùn)行在hadoop平臺(tái)(整合了hadoop相關(guān)的組件)

與MapReduce的區(qū)別:
1.MapReduce的計(jì)算會(huì)將中間結(jié)果輸出的到磁盤上
2.Spark中的中間輸出和結(jié)果可以保存在內(nèi)存中

Spark運(yùn)行模式:
1.local本地模式(單機(jī))--->常用于本地開發(fā)測(cè)試
分為local單線程和local-cluster多線程

2.standalone獨(dú)立集群模式--->偶爾于本地開發(fā)測(cè)試
典型的Mater/slave模式

3.standalone-HA高可用模式--->開發(fā)時(shí)生產(chǎn)環(huán)境可以使用
基于standalone模式，使用zk搭建高可用，避免Master是有單點(diǎn)故障的

image.png

4.on yarn集群模式--->開發(fā)時(shí)生產(chǎn)環(huán)境可以使用
運(yùn)行在 yarn 集群之上，由 yarn 負(fù)責(zé)資源管理，Spark 負(fù)責(zé)任務(wù)調(diào)度和計(jì)算，
好處：計(jì)算資源按需伸縮，集群利用率高，共享底層存儲(chǔ)，避免數(shù)據(jù)跨集群遷移。

image.png

spark_on yarn的兩種運(yùn)行模式:

①.cluster模式(用于:生產(chǎn)環(huán)境中):
Driver程序在YARN集群中的某個(gè)節(jié)點(diǎn)上運(yùn)行
該模式，Driver運(yùn)行在集群中，其實(shí)就是運(yùn)行在ApplicattionMaster這個(gè)進(jìn)程中，如果該進(jìn)程出現(xiàn)問題，yarn會(huì)重啟ApplicattionMaster(Driver)，SparkSubmit的功能就是為了提交任務(wù)

image.png

②.client模式(用于測(cè)試,學(xué)習(xí))
Driver運(yùn)行在Client上
該模式，Driver是運(yùn)行在SparkSubmit進(jìn)程中，因?yàn)槭占慕Y(jié)果，必須返回到命令行

image.png