本文轉(zhuǎn)載自：http://www.cnblogs.com/likehua/p/3999538.html，作者做了一理解上的的修改 1.什么是kafka? 1.1入門(mén) 1.1....
發(fā)簡(jiǎn)信
IP屬地：廣東
-
深入kafka(一).kafka理論概念 -
原創(chuàng)-Spark源碼分析一:Standalone模式下Master啟動(dòng)源碼分析
一：概述 Master節(jié)點(diǎn)是Spark Standalone運(yùn)行模式下的主節(jié)點(diǎn)，主要用于管理集群，負(fù)責(zé)資源的調(diào)度，其繼承了ThreadSafeRpcEndpoint 、Le...
-
Spark 源碼淺析之 Shuffle 讀部分Shuffle Read 在 Task 實(shí)例化的時(shí)候就會(huì)調(diào)用 runTask() 方法運(yùn)行任務(wù)，runTask() 方法中會(huì)調(diào)用 RDD.getOrCompute() 方法來(lái)...
-
Spark-Core源碼精讀(15)、Shuffle--Read部分上一篇文章我們分析了Shuffle的write部分，本文中我們來(lái)繼續(xù)分析Shuffle的read部分。 我們來(lái)看ShuffledRDD中的compute方法： 可以看到首先調(diào)...
-
Spark shuffle writer源碼解析
Shuffle分類 一個(gè)作業(yè)經(jīng)過(guò)spark的DAGSchedule調(diào)度器劃分為多個(gè)stage，同時(shí)有些下游的stage依賴上游的stage，這樣會(huì)導(dǎo)致上游的stage做map...
-
[spark] Shuffle Read解析 (Sort Based Shuffle)
Shuffle Write 請(qǐng)看 Shuffle Write解析。 本文將講解shuffle Reduce部分，shuffle的下游Stage的第一個(gè)rdd是ShuffleR...
-
JHipster簡(jiǎn)介
JHipster或者稱Java Hipster，是一個(gè)應(yīng)用代碼產(chǎn)生器，能夠創(chuàng)建Spring Boot + AngularJS的應(yīng)用。開(kāi)源項(xiàng)目地址：JHipster/Githu...
-
了解Spring Boot AutoConfiguration
原文：http://sivalabs.in/2016/03/how-springboot-autoconfiguration-magic/作者：Siva譯者：http://o...
