@愛上民謠的少年 寫過代碼嗎?Spark里面很多時候Scala和Java混用不懂嗎?
Scala ArrayBuffer/ListBuffer vs Java ArrayList在我們編寫Scala代碼的時候,由于ListBuffer方便的特性,所以經(jīng)常會使用ListBuffer。過去也一直沒有什么問題。 但是呢,最近在我們的項目中,出現(xiàn)了一個非常嚴(yán)...
@愛上民謠的少年 寫過代碼嗎?Spark里面很多時候Scala和Java混用不懂嗎?
Scala ArrayBuffer/ListBuffer vs Java ArrayList在我們編寫Scala代碼的時候,由于ListBuffer方便的特性,所以經(jīng)常會使用ListBuffer。過去也一直沒有什么問題。 但是呢,最近在我們的項目中,出現(xiàn)了一個非常嚴(yán)...
在YARN源碼解析(5)-MapReduce中,在數(shù)據(jù)本地節(jié)點(diǎn)分配Task是如何做到的?中,我們介紹了MapReduce如何在block所在的Host上分配Mapper的。 ...
這本書中,主要介紹了黑天鵝事件的產(chǎn)生,以及它的原理. 其實(shí)黑天鵝事件,并不是每件會改變歷史進(jìn)程的大事,才叫黑天鵝事件.而是,每件我們個人沒有預(yù)測的事情,其實(shí)都可以看成黑天鵝事...
今日在家無聊,翻了一遍《如何閱讀一本書》. 這本書早就購來了,但是一直沒有動過.最近從某個博客上看到了此書中的只言片語,感覺實(shí)在是醍醐灌頂,于是下決心翻一下這本書. 我這人,...
前幾天,在看Hadoop User Email List的時候,發(fā)現(xiàn)了一個關(guān)于HDFS Centrailzed Cache的問題。剛好我又不熟悉這塊,甚至之前都沒聽說過,就好...
在我們編寫Scala代碼的時候,由于ListBuffer方便的特性,所以經(jīng)常會使用ListBuffer。過去也一直沒有什么問題。 但是呢,最近在我們的項目中,出現(xiàn)了一個非常嚴(yán)...
在這篇文章中,我們來探究一下Scala HashMap.put(k, v)以及Java HashMap.put(k, v)的性能。 具體代碼沒看,以后補(bǔ)充。 Scala Ha...
在上一篇文章Spark內(nèi)存模型初探(1)-Storage/Execution Memory的使用中,我們初步解析了一下Storage/Execution Memory的使用。...
過去,我翻譯了幾篇關(guān)于Spark內(nèi)存模型的文章。翻譯完以后,我覺得我對Spark內(nèi)存模型已經(jīng)夠理解了,可是,紙上得來終覺淺,實(shí)際跑Spark任務(wù)的時候,還是會遇到OOM,而我...
筆者最近在測試Spark的內(nèi)存模型,測到ExecutionMemory的使用時,老是沒發(fā)現(xiàn)分配任何ExecutionMemory。懷疑由于是在同一臺主機(jī)上開啟的多個Worke...
本文翻譯自Cloudera HBase官方文檔 閱讀本文前,請了解一下HFile的格式,對閱讀本文會大有裨益. 簡單介紹HFile 我們這里簡單介紹一下HFile的組成,讓讀...
筆者所在的公司,最近遇到了一個非常詭異的問題-我們在執(zhí)行Get操作時,發(fā)現(xiàn)遲遲不能返回,等了好久都超時了。而此時超時時間我們實(shí)際上已經(jīng)設(shè)置成了20分鐘。 另一個詭異的問題是,...
1 不得撒謊、欺騙、行竊,也不得容忍他人有這種行為;不推卸責(zé)任;無私奉獻(xiàn)。2 對我們將要服務(wù)的人民和社會要有十分清除的認(rèn)識;在工程學(xué)、自然科學(xué)和人文科學(xué)方面要得到均衡...
筆者最近要調(diào)試一個線上的HBase bug,所以需要做到本地配置等跟線上完全一樣。其它的都還好說,但是到了Snappy這兒卻碰了一鼻子灰。 所以,在這篇文章,我會介紹如何在本...
原文地址:https://haydenjames.io/web-host-doesnt-want-read-benchmark-vps/ 譯者注:本篇文章只是非常簡單的概括原...
原文鏈接 https://0x0fff.com/spark-architecture-shuffle/ 這是關(guān)于Spark 架構(gòu)的第二篇文章。在這篇文章中,我會詳細(xì)介紹關(guān)于S...