發(fā)簡信
IP屬地：重慶
-
和時間賽跑——小學(xué)語文三年級
讀小學(xué)的時候，我的外祖母去世了。外祖母生前最疼愛我。我無法排除自己的憂傷，每天在學(xué)校的操場上一圈一圈地跑著，跑得累倒在地上，撲在草坪上痛哭。 那...
-
為什么你越工作越窮窮人為錢工作，富人不為錢工作 這個世界大多數(shù)的人都在為錢而工作，這個世界百分之八十人為百分之二十的人打工。所以，如果身為一名上班族，大部分人是為...
-
spark源碼分析之Checkpoint的過程概述 checkpoint 的機制保證了需要訪問重復(fù)數(shù)據(jù)的應(yīng)用 Spark 的DAG執(zhí)行行圖可能很龐大，task 中計算鏈可能會很長，這時如果 ...
-
利用web管理spark任務(wù)由于最近學(xué)習(xí)了Play Framework這個web開發(fā)框架，接口的設(shè)計和api非常炫酷。由于是scala寫的，所以這個框架對于和大數(shù)據(jù)框架結(jié)合...
-
大數(shù)據(jù)工程師知識技能樹技能樹大數(shù)據(jù).png
-
spark源碼分析之任務(wù)調(diào)度篇
DAG的生成 概述 spark作為一套高效的分布式運算框架，但是想要更深入的學(xué)習(xí)它，就要通過分析spark的源碼，不但可以更好的幫助理解spar...
-
spark源碼分析之Executor啟動與任務(wù)提交篇任務(wù)提交流程 概述 在闡明了Spark的Master的啟動流程與Worker啟動流程。接下繼續(xù)執(zhí)行的就是Worker上的Executor進程了，...
-
MAPREDUCE原理篇(1)MAPREDUCE概念 Mapreduce是一個分布式運算程序的編程框架，是用戶開發(fā)“基于hadoop的數(shù)據(jù)分析應(yīng)用”的核心框架；Mapredu...
-
spark源碼分析Master與Worker啟動流程篇spark通信流程 概述spark作為一套高效的分布式運算框架，但是想要更深入的學(xué)習(xí)它，就要通過分析spark的源碼，不但可以更好的幫助理解sp...