原文出處: [黃勇](http://my.oschina.net/huangyong/blog/361751) RPC,即 Remote Procedure Call(遠(yuǎn)程過...
01.靜態(tài)代碼塊 靜態(tài)代碼塊使用static關(guān)鍵字進(jìn)行修飾,運(yùn)行在類初始化階段(這點(diǎn)不清楚的同學(xué)需要惡補(bǔ)JVM知識(shí)哈),靜態(tài)代碼塊只運(yùn)行一次,主要用于類變量的初始化和賦值。靜...
01.相關(guān)概念 final關(guān)鍵字主要用來修飾類、方法和字段;當(dāng)修飾類的時(shí)候,表示該類是不可繼承的;當(dāng)修飾方法的時(shí)候,表示該方法不可重寫;當(dāng)修飾字段的時(shí)候,表示該字段內(nèi)容不可更...
Task提交流程 在劃分Stage之后,在對(duì)Task進(jìn)行封裝成為TaskSet然后提交給TaskScheduler。 提交流程源碼解析 提交TaskSet 查看TaskSch...
WordCount的代碼 主要是從HDFS讀取文件后進(jìn)行單詞切割,然后進(jìn)行計(jì)數(shù),如果不懂RDD算子可以看RDD詳解 WordCount的各個(gè)算子 SparkRDD的運(yùn)行流程 ...
Executor啟動(dòng)流程流程圖 源碼分析 Executor進(jìn)程的啟動(dòng) 這里我們需要追蹤的方法是Master類中的schedule()方法內(nèi)部的607行,這個(gè)方法的主要作用是向...
SparkContext內(nèi)部執(zhí)行的時(shí)序圖 對(duì)于這個(gè)時(shí)序圖的具體描述如下: 1.SparkSubmit在main()方法中執(zhí)行,然后根據(jù)提交的類型調(diào)用相應(yīng)的方法,這里是"Sub...
Spark執(zhí)行流程 過程描述: 1.通過Shell腳本啟動(dòng)Master,Master類繼承Actor類,通過ActorySystem創(chuàng)建并啟動(dòng)。 2.通過Shell腳本啟動(dòng)W...
01.引入 在業(yè)務(wù)開發(fā)中,我們常把數(shù)據(jù)持久化到數(shù)據(jù)庫(kù)中。如果需要讀取這些數(shù)據(jù),除了直接從數(shù)據(jù)庫(kù)中讀取外,為了減輕數(shù)據(jù)庫(kù)的訪問壓力以及提高訪問速度,我們更多地引入緩存來對(duì)數(shù)據(jù)進(jìn)...
01.模式動(dòng)機(jī) 02.模式定義 03.模式結(jié)構(gòu) 模板模式包含如下角色: 抽象模板(Abstract Template),具體模板(Concrete Template)。 04...
01.模式定義 完成一項(xiàng)任務(wù),往往可以有多種不同的方式,每一種方式稱為一個(gè)策略,我們可以根據(jù)環(huán)境或者條件的不同選擇不同的策略來完成該項(xiàng)任務(wù)。 在軟件開發(fā)中也常常遇到類似的情況...
01.模式動(dòng)機(jī) 在軟件設(shè)計(jì)中,我們經(jīng)常需要向某些對(duì)象發(fā)送請(qǐng)求,但是并不知道請(qǐng)求的接收者是誰(shuí),也不知道被請(qǐng)求的操作是哪個(gè),我們只需在程序運(yùn)行時(shí)指定具體的請(qǐng)求接收者即可,此時(shí),可...
01.模式動(dòng)機(jī) 在某些情況下,一個(gè)客戶不想或者不能直接引用一個(gè)對(duì) 象,此時(shí)可以通過一個(gè)稱之為“代理”的第三者來實(shí)現(xiàn) 間接引用。代理對(duì)象可以在客戶端和目標(biāo)對(duì)象之間起到 中介的作...
01.模式動(dòng)機(jī) 面向?qū)ο蠹夹g(shù)可以很好地解決一些靈活性或可擴(kuò)展性問題,但在很多情況下需要在系統(tǒng)中增加類和對(duì)象的個(gè)數(shù)。當(dāng)對(duì)象數(shù)量太多時(shí),將導(dǎo)致運(yùn)行代價(jià)過高,帶來性能下降等問題。 ...
01.模式動(dòng)機(jī) 設(shè)想一下在學(xué)校,你進(jìn)宿舍的時(shí)候要用門禁卡,進(jìn)入圖書館的時(shí)候要使用圖書館的卡,吃飯的時(shí)候要使用飯卡;一天你就要背著各種卡到處跑,盡管這些都不是很重,但是每次還有...
01.模式動(dòng)機(jī) 在軟件開發(fā)中采用類似于電源適配器的設(shè)計(jì)和編碼技巧被稱為適配器模式。 通常情況下,客戶端可以通過目標(biāo)類的接口訪問它所提供的服務(wù)。有時(shí),現(xiàn)有的類可以滿足客戶類的功...
01.模式動(dòng)機(jī) 一般有兩種方式可以實(shí)現(xiàn)給一個(gè)類或?qū)ο笤黾有袨椋?繼承機(jī)制,使用繼承機(jī)制是給現(xiàn)有類添加功能的一種有效途徑,通過繼承一個(gè)現(xiàn)有類可以使得子類在擁有自身方法的同時(shí)還擁...