發(fā)簡信
IP屬地：廣東
-
-
從事J2EE開發(fā)已有6年以上，從開始的ERP慢慢過渡到SOA,RPC,到現(xiàn)在比較流行的微服務(wù)，docker都有一定的涉獵，希望跟大家交流。<br>我的github: <a href="https://github.com/shunyang" rel="nofollow" target="_blank">https://github.com/shunyang</a><br>我的gitee : <a href="https://gitee.com/shunyang" rel="nofollow" target="_blank">https://gitee.com/shunyang</a><br>我的公眾號：yiran-us<br>我的微信：shunyang
-
深入kafka(一).kafka理論概念本文轉(zhuǎn)載自：http://www.cnblogs.com/likehua/p/3999538.html，作者做了一理解上的的修改 1.什么是kafka? 1.1入門 1.1....
-
原創(chuàng)-Spark源碼分析一:Standalone模式下Master啟動(dòng)源碼分析
一：概述 Master節(jié)點(diǎn)是Spark Standalone運(yùn)行模式下的主節(jié)點(diǎn)，主要用于管理集群，負(fù)責(zé)資源的調(diào)度，其繼承了ThreadSafeRpcEndpoint 、Le...
-
-
Spark 源碼淺析之 Shuffle 讀部分Shuffle Read 在 Task 實(shí)例化的時(shí)候就會調(diào)用 runTask() 方法運(yùn)行任務(wù)，runTask() 方法中會調(diào)用 RDD.getOrCompute() 方法來...
-
Spark-Core源碼精讀(15)、Shuffle--Read部分上一篇文章我們分析了Shuffle的write部分，本文中我們來繼續(xù)分析Shuffle的read部分。 我們來看ShuffledRDD中的compute方法： 可以看到首先調(diào)...
-
Spark shuffle writer源碼解析
Shuffle分類 一個(gè)作業(yè)經(jīng)過spark的DAGSchedule調(diào)度器劃分為多個(gè)stage，同時(shí)有些下游的stage依賴上游的stage，這樣會導(dǎo)致上游的stage做map...
-
[spark] Shuffle Read解析 (Sort Based Shuffle)
Shuffle Write 請看 Shuffle Write解析。 本文將講解shuffle Reduce部分，shuffle的下游Stage的第一個(gè)rdd是ShuffleR...
-
-
永言配命，自求多福。
-
-
-
-
-
此簡書用來發(fā)布Spark+AI的深夜學(xué)堂，每夜一更新！夜空中最亮的星：Spark！
-
-
-
-
大數(shù)據(jù)開發(fā)愛好者
