謝謝回復(fù)?,F(xiàn)在主攻Spark了,畢竟Hadoop MapReduce部分已經(jīng)過時(shí)了。
Hadoop源碼學(xué)習(xí)——找到main()函數(shù)(1)【至于我為什么要寫這一系列文章,目的為“縫合”,即把別人的知識枝丫縫合到自己的知識主干上,把別人的東西化為自己的東西。通俗地說,就是要寫出來。當(dāng)然,這是知識縫合的方式之一。】...
謝謝回復(fù)?,F(xiàn)在主攻Spark了,畢竟Hadoop MapReduce部分已經(jīng)過時(shí)了。
Hadoop源碼學(xué)習(xí)——找到main()函數(shù)(1)【至于我為什么要寫這一系列文章,目的為“縫合”,即把別人的知識枝丫縫合到自己的知識主干上,把別人的東西化為自己的東西。通俗地說,就是要寫出來。當(dāng)然,這是知識縫合的方式之一。】...
本文想探討的問題有兩個(gè): 如果我們在synchronized代碼塊中創(chuàng)建一個(gè)Future會發(fā)生什么? 如果我們在創(chuàng)建Future的代碼塊中加synchronized又會發(fā)生什...
NOTE:本文要求讀者對spark的運(yùn)行原理有基本的了解。 需要明確的一點(diǎn)是,abort不同于fail。如果一個(gè)stage fail了,那么它還有可能被resubmit,然后...
本文要求讀者了解DAGScheduler如何劃分一個(gè)作業(yè)的stages。本文主要內(nèi)容是作者個(gè)人關(guān)于spark在提交多個(gè)作業(yè)時(shí),stage劃分的一些小思考。 假設(shè)我們有如下圖所...
Note:本文要求讀者對UnifiedMemoryManager的原理有基本的了解。希望讀者能與作者一起探討。 本文試圖分析UnifiedMemoryManager中的may...
我以近十天的編譯Spark的痛苦經(jīng)歷,來分享一下如何在國內(nèi)快速的完成Spark編譯。 其實(shí),唯一的任務(wù)就是將Spark中的默認(rèn)maven中央倉庫地址,替換成國內(nèi)的maven倉...
今天調(diào)試spark(read分支),設(shè)置斷點(diǎn),debug運(yùn)行,就是不能在斷點(diǎn)的地方停止運(yùn)行。但是,我能非常肯定,代碼是會執(zhí)行到這里的。 另外,在某些函數(shù)單步執(zhí)行的時(shí)候,執(zhí)行順...
今天我才意識到,我的身上發(fā)生了重大問題。我已經(jīng)患上了嚴(yán)重的拖延癥?。。?我一直以為自己的有分寸和把握,到最后都成為了把我推向要死的邊緣! 十一回家,好好休整!整理一下最近拖的...
Thymeleaf 是現(xiàn)代化服務(wù)器端的Java模板引擎,不同與JSP和FreeMarker,Thymeleaf的語法更加接近HTML,并且也有不錯的擴(kuò)展性。詳細(xì)資料可以瀏覽官...
我突然意識到,簡書之所以能被稱為簡書,應(yīng)該以非常簡便的方式去書寫。所以,更多的時(shí)候,我們只寫一句話也足夠。這也可以是非常好的記錄。 附一張晚上在公司拍的照片。
(轉(zhuǎn)載說明:本文非原創(chuàng),轉(zhuǎn)載自http://ifeve.com/java-nio-all/) Java NIO: Channels and Buffers(通道和緩沖區(qū))標(biāo)準(zhǔn)...
我們先來看看Hadoop源碼中對DFS Client的注釋說明: 顯然,DFSClient在DistributedFileSystem和NameNode和之間起到了橋梁的作用...
閑話少敘,言歸正傳。這次,我們從"-ls /"命令入手,窺探一下hdfs。hdfs模塊提供了一個(gè)org.apache.hadoop.fs.FsShell類用來支持用戶在終端的...
這里,我們省略hadoop源碼導(dǎo)入eclipse的過程。在上一篇我們尋找main()函數(shù)的文章,我們可以看到,腳本文件啟動hdfs的過程分兩步,見下圖: 先啟動namenod...
【至于我為什么要寫這一系列文章,目的為“縫合”,即把別人的知識枝丫縫合到自己的知識主干上,把別人的東西化為自己的東西。通俗地說,就是要寫出來。當(dāng)然,這是知識縫合的方式之一?!?..