『DT大數(shù)據(jù)夢(mèng)工廠』Spark Streaming--Spark定制班
Spark - andyshar的博客 - 博客頻道 - CSDN.NET
http://blog.csdn.net/andyshar/article/category/5945687/2
0084：StreamingContext、DStream、Receiver深度剖析 - andyshar的博客 - 博客頻道 - CSDN.NET
http://blog.csdn.net/andyshar/article/details/51201893
StreamingContext、DStream、Receiver深度剖析本課分成四部分講解，第一部分對(duì)StreamingContext功能及源碼剖析；第二部分對(duì)DStream功能及源碼剖析；第三部分對(duì)Receiver功能及源碼剖析；最后一部分將StreamingContext、DStream、Receiver結(jié)合起來分析其流程。一、StreamingContext功能及源碼剖析：1、 通過Spark Streaming對(duì)象jssc，創(chuàng)建應(yīng)用程序主入口，并連上Driver上的接收數(shù)據(jù)服務(wù)端口9999寫入源數(shù)據(jù)：
2、 Spark Streaming的主要功能有：主程序的入口；提供了各種創(chuàng)建DStream的方法接收各種流入的數(shù)據(jù)源（例如：Kafka、Flume、Twitter、ZeroMQ和簡(jiǎn)單的TCP套接字等）；通過構(gòu)造函數(shù)實(shí)例化Spark Streaming對(duì)象時(shí)，可以指定master URL、appName、或者傳入SparkConf配置對(duì)象、或者已經(jīng)創(chuàng)建的SparkContext對(duì)象；將接收的數(shù)據(jù)流傳入DStreams對(duì)象中；通過Spark Streaming對(duì)象實(shí)例的start方法啟動(dòng)當(dāng)前應(yīng)用程序的流計(jì)算框架或通過stop方法結(jié)束當(dāng)前應(yīng)用程序的流計(jì)算框架； 二、DStream功能及源碼剖析：1、 DStream是RDD的模板，DStream是抽象的，RDD也是抽象2、 DStream的具體實(shí)現(xiàn)子類如下圖所示： 3、 以StreamingContext實(shí)例的socketTextSteam方法為例，其執(zhí)行完的結(jié)果返回DStream對(duì)象實(shí)例，其源碼調(diào)用過程如下圖：socket.getInputStream獲取數(shù)據(jù)，while循環(huán)來存儲(chǔ)儲(chǔ)蓄數(shù)據(jù)(內(nèi)存、磁盤)三、Receiver功能及源碼剖析：1、Receiver代表數(shù)據(jù)的輸入，接收外部輸入的數(shù)據(jù)，如從Kafka上抓取數(shù)據(jù)；2、Receiver運(yùn)行在Worker節(jié)點(diǎn)上；3、Receiver在Worker節(jié)點(diǎn)上抓取Kafka分布式消息框架上的數(shù)據(jù)時(shí)，具體實(shí)現(xiàn)類是KafkaReceiver；4、Receiver是抽象類，其抓取數(shù)據(jù)的實(shí)現(xiàn)子類如下圖所示： 5、 如果上述實(shí)現(xiàn)類都滿足不了您的要求，您自己可以定義Receiver類，只需要繼承Receiver抽象類來實(shí)現(xiàn)自己子類的業(yè)務(wù)需求。四、StreamingContext、DStream、Receiver結(jié)合流程分析： （1）inputStream代表了數(shù)據(jù)輸入流(如：Socket、Kafka、Flume等)（2）Transformation代表了對(duì)數(shù)據(jù)的一系列操作，如flatMap、map等（3）outputStream代表了數(shù)據(jù)的輸出，例如wordCount中的println方法：數(shù)據(jù)數(shù)據(jù)在流進(jìn)來之后最終會(huì)生成Job，最終還是基于Spark Core的RDD進(jìn)行執(zhí)行：在處理流進(jìn)來的數(shù)據(jù)時(shí)是DStream進(jìn)行Transformation由于是StreamingContext所以根本不會(huì)去運(yùn)行，StreamingContext會(huì)根據(jù)Transformation生成”DStream的鏈條”及DStreamGraph，而DStreamGraph就是DAG的模板，這個(gè)模板是被框架托管的。當(dāng)我們指定時(shí)間間隔的時(shí)候，Driver端就會(huì)根據(jù)這個(gè)時(shí)間間隔來觸發(fā)Job而觸發(fā)Job的方法就是根據(jù)OutputDStream中指定的具體的function,例如wordcount中print，這個(gè)函數(shù)一定會(huì)傳給ForEachDStream，它會(huì)把函數(shù)交給最后一個(gè)DStream產(chǎn)生的RDD，也就是RDD的print操作，而這個(gè)操作就是RDD觸發(fā)Action?？偨Y(jié)：使用Spark Streaming可以處理各種數(shù)據(jù)來源類型，如：數(shù)據(jù)庫、HDFS，服務(wù)器log日志、網(wǎng)絡(luò)流，其強(qiáng)大超越了你想象不到的場(chǎng)景，只是很多時(shí)候大家不會(huì)用，其真正原因是對(duì)Spark、spark streaming本身不了解。
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。
