前言 之前知道checkpoint是在job執(zhí)行后完成的,一直沒理解原理。后來用spark streaming后更迷惑了,眾所周知有些時(shí)候需要保存每一條數(shù)據(jù)的狀態(tài),或者我需要...
前言 之前知道checkpoint是在job執(zhí)行后完成的,一直沒理解原理。后來用spark streaming后更迷惑了,眾所周知有些時(shí)候需要保存每一條數(shù)據(jù)的狀態(tài),或者我需要...
假設(shè)你已經(jīng)了解job是如何被劃分及提交的,若不了解請(qǐng)前往spark streaming 流程詳解 當(dāng)前位置是JobGenerator類的generateJobs的方法,我們重...
更多關(guān)注spark streaming源碼分析之流程詳解 DStreamGraph的作用是什么呢? DStreamGraph通過持有所有的inputstream和output...
jobGenerator做了哪些事情呢? 持有一個(gè)定時(shí)器實(shí)例 這個(gè)定時(shí)器會(huì)依據(jù)batchDuration提交GenerateJobs消息,也就是說每隔一個(gè)batch生成一組j...
我們關(guān)注的問題是數(shù)據(jù)是怎么被接收的?又是怎么存儲(chǔ)的? 數(shù)據(jù)是被executor上的線程receiver接收的,接收之后交由executor上的線程ReceiverSuperv...
1、shufflemanager的實(shí)現(xiàn)類:sortshufflemanager Spark 0.8及以前 Hash Based Shuffle 在Shuffle Write過...
checkpoint: checkpoint都放啥子? Metadata checkpointing : 保存流計(jì)算的定義信息到容錯(cuò)存儲(chǔ)系統(tǒng)如 HDFS 中。這用來恢復(fù)應(yīng)用程...
簡單的說,類(class)與類型(type)是兩個(gè)不一樣的概念(在java里因?yàn)樵缙谝恢笔褂胏lass表達(dá)type,并且現(xiàn)在也延續(xù)這樣的習(xí)慣);類型(type)比類(clas...
伴生對(duì)象 當(dāng)單例對(duì)象與某個(gè)類共享同一個(gè)名稱時(shí),它就被稱為是這個(gè)類的伴生對(duì)象 scala類里面沒有靜態(tài)方法和靜態(tài)字段,可通過伴生對(duì)象實(shí)現(xiàn) 伴生對(duì)象和伴生類可以互相訪問彼此的私有...
模式匹配 要理解模式匹配(pattern-matching),先把這兩個(gè)單詞拆開,先理解什么是模式(pattern),這里所的模式并不是設(shè)計(jì)模式里的模式,而是數(shù)據(jù)結(jié)構(gòu)上的,這...
可變和不可變(Scala默認(rèn)不可變集合類) val和var mutable和immutable 補(bǔ)充string是容器類中的一個(gè)immutable實(shí)現(xiàn),所以字符串是不可變的集...
https://upload-images.jianshu.io/upload_images/1611719-320e9da035bb597d.png?imageMogr2/...
scala的構(gòu)造函數(shù)分為主構(gòu)造函數(shù)和輔助構(gòu)造函數(shù) 【輔助構(gòu)造函數(shù)】比較容易理解,它們同C++和Java的構(gòu)造函數(shù)十分類似,只有兩處不同: 1、輔助構(gòu)造函數(shù)的名稱為this,這...
隱式轉(zhuǎn)換 什么是隱式轉(zhuǎn)換 通過隱式轉(zhuǎn)換,程序員可以在編寫Scala程序時(shí)故意漏掉一些信息,讓編譯器去嘗試在編譯期間自動(dòng)推導(dǎo)出這些信息來,這種特性可以極大的減少代碼量,忽略那些...
我們有兩種編程方式:命令式和聲明式 命令式編程:命令“機(jī)器”如何去做事情(how),這樣不管你想要的是什么(what),它都會(huì)按照你的命令實(shí)現(xiàn)。 聲明式編程:告訴“機(jī)器”你想...