發(fā)簡信
IP屬地：北京
-
Spark-Core源碼精讀(15)、Shuffle--Read部分上一篇文章我們分析了Shuffle的write部分，本文中我們來繼續(xù)分析Shuffle的read部分。 我們來看ShuffledRDD中的com...
-
Spark-Core源碼精讀(14)、Shuffle--Write部分前面我們分析了Spark中具體的Task的提交和運行過程，從本文開始我們開始進入Shuffle的世界，Shuffle對于分布式計算來說是至關(guān)重要...
-
Spark-Core源碼精讀(13)、Task的運行流程分析上一篇文章我們著重分析了Task的提交過程，本文中我們將對Task的運行進行詳細(xì)的分析。 我們從CoarseGrainedExecutorBac...
-
Spark-Core源碼精讀(12)、Task的提交流程分析
上一篇文章我們談到，DAGScheduler將Job劃分成由Stage組成的DAG后，就根據(jù)Stage的具體類型來生成ShuffleMapTas...
-
Spark-Core源碼精讀(11)、Stage的劃分過程和Task數(shù)據(jù)本地性本文將主要討論兩個Topic：Stage的劃分過程和Task數(shù)據(jù)本地性 引子 前面的文章中我們已經(jīng)分析了Spark應(yīng)用程序即Applicatio...
-
Spark-Core源碼精讀(10)、注冊Application及Executors的啟動注冊流程(二)承接上一篇文章，我們繼續(xù)來分析Executor的啟動過程，本文主要分為兩部分： 向worker發(fā)送啟動Executor的消息 啟動完成后向dri...
-
Spark-Core源碼精讀(9)、注冊Application及Executors的啟動注冊流程(一)接下來的幾篇文章我們會結(jié)合源碼來分析注冊Application以及啟動Executor并向Driver注冊的具體流程。 上文我們跟蹤源碼到了Sp...
-
Spark-Core源碼精讀(8)、TaskScheduler和SchedulerBackend從本文開始，我們進入Spark中的調(diào)度部分，首先本文將對TaskScheduler和SchedulerBackend的實現(xiàn)原理進行分析。 我們從...
-
Spark-Core源碼精讀(7)、“Driver“服務(wù)啟動流程解析
本文將解析Spark中Driver服務(wù)的開啟流程，閑言少敘，直接進入源碼。 首先Driver服務(wù)的開啟是在創(chuàng)建Driver的運行時環(huán)境的時候完成...
個人介紹
致力于大數(shù)據(jù)技術(shù)和相關(guān)的學(xué)習(xí)和研究，包括但不限于：Spark、Hadoop、Scala、Java、Docker 等，歡迎共同學(xué)習(xí)和交流。