(由于平臺(tái)限制,公式無(wú)法正常顯示,更好排版請(qǐng)?jiān)L問(wèn)我的博客:https://tianle.me/2017/12/12/jd/)項(xiàng)目源代碼:https://github.com/...
(由于平臺(tái)限制,公式無(wú)法正常顯示,更好排版請(qǐng)?jiān)L問(wèn)我的博客:https://tianle.me/2017/12/12/jd/)項(xiàng)目源代碼:https://github.com/...
一. 基礎(chǔ)知識(shí) 1. 哈希函數(shù) 經(jīng)典的哈希函數(shù)有MD5, SHA1等, 不是必須掌握, 可以適當(dāng)了解. 2. map-reduce 原理展現(xiàn): 使用word-count案例 ...
配置 源碼 具體可以參見(jiàn)yarn.Client.scala#L87,這邊用去讀取參數(shù)設(shè)置ApplicationMaster的對(duì)應(yīng)核數(shù)。 具體可以參見(jiàn)yarn.Client.s...
引子 有一天,一個(gè)客戶(hù)帶著下面StackOverFlow錯(cuò)誤棧來(lái)找我,簡(jiǎn)單的主訴之后發(fā)現(xiàn)應(yīng)該是shuffle wtrite階段寫(xiě)中間文件的時(shí)候序列化發(fā)生了死循環(huán)。 客戶(hù):xs...
技術(shù)的世界正在爆炸式發(fā)展,“日新月異”不再是一個(gè)修辭,而是正在發(fā)生的現(xiàn)實(shí)。在這其中,有一些發(fā)展趨勢(shì)注定要改變世界,改變我們的生活方式。在此,我們借鑒美國(guó)大數(shù)據(jù)專(zhuān)家Bernar...
直接用rdd.isEmpty判斷rdd是否為空不行嗎?
19 Spark Streaming中空RDD的處理在Spark Streaming中,job不斷的產(chǎn)生,有時(shí)候會(huì)產(chǎn)生一些空RDD,而基于這些空RDD生成的job大多數(shù)情況下是沒(méi)必要提交到集群執(zhí)行的。執(zhí)行沒(méi)有結(jié)果的job,就是...
寫(xiě)的很不錯(cuò),多謝分享!
15 Spark Streaming源碼解讀之No Receivers徹底思考Spark Streaming在企業(yè)級(jí)使用中,一般會(huì)使用no receiver的方式讀取數(shù)據(jù),對(duì)應(yīng)kafka中的Direct方式,采用no receiver的方式可以提高數(shù)據(jù)...
we are all in the gutter,but some of us are looking at the stars. --王爾德Just For M 為了更方便...
機(jī)器學(xué)習(xí)的套路 大部分機(jī)器學(xué)習(xí)算法(包括深度學(xué)習(xí)),其實(shí)是在一個(gè)理想空間里(接下來(lái)我們會(huì)以三維空間為例子)尋找一個(gè)最大/最小值。三維空間是無(wú)限大的,在某個(gè)實(shí)際場(chǎng)景,假設(shè)我們有...