前言 之前知道checkpoint是在job執(zhí)行后完成的，一直沒理解原理。后來用spark streaming后更迷惑了，眾所周知有些時(shí)候需要保存每一條數(shù)據(jù)的狀態(tài)，或者我需要...
發(fā)簡信
IP屬地：浙江
-
源碼解析之checkpoint：rdd/streaming都是如何實(shí)現(xiàn)的？以及作用都是什么？
-
spark streaming源碼分析之job、rdd、blocks之間是如何對(duì)應(yīng)的？
假設(shè)你已經(jīng)了解job是如何被劃分及提交的，若不了解請(qǐng)前往spark streaming 流程詳解 當(dāng)前位置是JobGenerator類的generateJobs的方法，我們重...
-
spark streaming源碼分析之DStreamGraph 詳解
更多關(guān)注spark streaming源碼分析之流程詳解 DStreamGraph的作用是什么呢？ DStreamGraph通過持有所有的inputstream和output...
-
spark streaming源碼分析之JobScheduler 詳解
jobGenerator做了哪些事情呢？ 持有一個(gè)定時(shí)器實(shí)例 這個(gè)定時(shí)器會(huì)依據(jù)batchDuration提交GenerateJobs消息，也就是說每隔一個(gè)batch生成一組j...
-
spark streaming源碼分析之ReceiverTracker詳解
我們關(guān)注的問題是數(shù)據(jù)是怎么被接收的？又是怎么存儲(chǔ)的？ 數(shù)據(jù)是被executor上的線程receiver接收的，接收之后交由executor上的線程ReceiverSuperv...
-
spark源碼閱讀之shuffleManager
1、shufflemanager的實(shí)現(xiàn)類：sortshufflemanager Spark 0.8及以前 Hash Based Shuffle 在Shuffle Write過...
-
spark streaming雜記
checkpoint： checkpoint都放啥子？ Metadata checkpointing : 保存流計(jì)算的定義信息到容錯(cuò)存儲(chǔ)系統(tǒng)如 HDFS 中。這用來恢復(fù)應(yīng)用程...
-
scala學(xué)習(xí)筆記-類和類型
簡單的說，類(class)與類型(type)是兩個(gè)不一樣的概念(在java里因?yàn)樵缙谝恢笔褂胏lass表達(dá)type，并且現(xiàn)在也延續(xù)這樣的習(xí)慣)；類型(type)比類(clas...
-
scala學(xué)習(xí)筆記-case class
伴生對(duì)象 當(dāng)單例對(duì)象與某個(gè)類共享同一個(gè)名稱時(shí)，它就被稱為是這個(gè)類的伴生對(duì)象 scala類里面沒有靜態(tài)方法和靜態(tài)字段，可通過伴生對(duì)象實(shí)現(xiàn) 伴生對(duì)象和伴生類可以互相訪問彼此的私有...
-
scala學(xué)習(xí)筆記-模式匹配
模式匹配 要理解模式匹配(pattern-matching)，先把這兩個(gè)單詞拆開，先理解什么是模式(pattern)，這里所的模式并不是設(shè)計(jì)模式里的模式，而是數(shù)據(jù)結(jié)構(gòu)上的，這...
-
scala學(xué)習(xí)筆記-容器
可變和不可變（Scala默認(rèn)不可變集合類） val和var mutable和immutable 補(bǔ)充string是容器類中的一個(gè)immutable實(shí)現(xiàn)，所以字符串是不可變的集...
-
Scala類型系統(tǒng)中Nil, Null, None, Nothing四個(gè)類型的區(qū)別？
https://upload-images.jianshu.io/upload_images/1611719-320e9da035bb597d.png?imageMogr2/...
-
scala學(xué)習(xí)筆記-構(gòu)造函數(shù)
scala的構(gòu)造函數(shù)分為主構(gòu)造函數(shù)和輔助構(gòu)造函數(shù) 【輔助構(gòu)造函數(shù)】比較容易理解，它們同C++和Java的構(gòu)造函數(shù)十分類似，只有兩處不同： 1、輔助構(gòu)造函數(shù)的名稱為this，這...
-
scala學(xué)習(xí)筆記-隱式轉(zhuǎn)換
隱式轉(zhuǎn)換 什么是隱式轉(zhuǎn)換 通過隱式轉(zhuǎn)換，程序員可以在編寫Scala程序時(shí)故意漏掉一些信息，讓編譯器去嘗試在編譯期間自動(dòng)推導(dǎo)出這些信息來，這種特性可以極大的減少代碼量，忽略那些...
-
面向?qū)ο缶幊毯秃瘮?shù)式編程、命令式編程和聲明式編程
我們有兩種編程方式：命令式和聲明式 命令式編程：命令“機(jī)器”如何去做事情(how)，這樣不管你想要的是什么(what)，它都會(huì)按照你的命令實(shí)現(xiàn)。 聲明式編程：告訴“機(jī)器”你想...
