發(fā)簡(jiǎn)信
IP屬地：新疆
前言 之前知道checkpoint是在job執(zhí)行后完成的，一直沒理解原理。后來用spark streaming后更迷惑了，眾所周知有些時(shí)候需要保...
待續(xù)
待續(xù)
假設(shè)你已經(jīng)了解job是如何被劃分及提交的，若不了解請(qǐng)前往spark streaming 流程詳解 當(dāng)前位置是JobGenerator類的gene...
更多關(guān)注spark streaming源碼分析之流程詳解 DStreamGraph的作用是什么呢？ DStreamGraph通過持有所有的inp...
jobGenerator做了哪些事情呢？ 持有一個(gè)定時(shí)器實(shí)例 這個(gè)定時(shí)器會(huì)依據(jù)batchDuration提交GenerateJobs消息，也就是...
我們關(guān)注的問題是數(shù)據(jù)是怎么被接收的？又是怎么存儲(chǔ)的？ 數(shù)據(jù)是被executor上的線程receiver接收的，接收之后交由executor上的線...
1、shufflemanager的實(shí)現(xiàn)類：sortshufflemanager Spark 0.8及以前 Hash Based Shuffle ...
checkpoint： checkpoint都放啥子？ Metadata checkpointing : 保存流計(jì)算的定義信息到容錯(cuò)存儲(chǔ)系統(tǒng)如 ...