發(fā)簡(jiǎn)信
IP屬地：上海
在YARN源碼解析(5)-MapReduce中，在數(shù)據(jù)本地節(jié)點(diǎn)分配Task是如何做到的？中，我們介紹了MapReduce如何在block所在的H...
這本書(shū)中，主要介紹了黑天鵝事件的產(chǎn)生，以及它的原理． 其實(shí)黑天鵝事件，并不是每件會(huì)改變歷史進(jìn)程的大事，才叫黑天鵝事件．而是，每件我們個(gè)人沒(méi)有預(yù)測(cè)...
今日在家無(wú)聊，翻了一遍《如何閱讀一本書(shū)》． 這本書(shū)早就購(gòu)來(lái)了，但是一直沒(méi)有動(dòng)過(guò)．最近從某個(gè)博客上看到了此書(shū)中的只言片語(yǔ)，感覺(jué)實(shí)在是醍醐灌頂，于是...
前幾天，在看Hadoop User Email List的時(shí)候，發(fā)現(xiàn)了一個(gè)關(guān)于HDFS Centrailzed Cache的問(wèn)題。剛好我又不熟悉...
在我們編寫Scala代碼的時(shí)候，由于ListBuffer方便的特性，所以經(jīng)常會(huì)使用ListBuffer。過(guò)去也一直沒(méi)有什么問(wèn)題。 但是呢，最近在...
在這篇文章中，我們來(lái)探究一下Scala HashMap.put(k, v)以及Java HashMap.put(k, v)的性能。 具體代碼沒(méi)看...
在上一篇文章Spark內(nèi)存模型初探(1)-Storage/Execution Memory的使用中，我們初步解析了一下Storage/Execu...
過(guò)去，我翻譯了幾篇關(guān)于Spark內(nèi)存模型的文章。翻譯完以后，我覺(jué)得我對(duì)Spark內(nèi)存模型已經(jīng)夠理解了，可是，紙上得來(lái)終覺(jué)淺，實(shí)際跑Spark任務(wù)...
筆者最近在測(cè)試Spark的內(nèi)存模型，測(cè)到ExecutionMemory的使用時(shí)，老是沒(méi)發(fā)現(xiàn)分配任何ExecutionMemory。懷疑由于是在同...