謝謝回復(fù)?，F(xiàn)在主攻Spark了，畢竟Hadoop MapReduce部分已經(jīng)過時(shí)了。
Hadoop源碼學(xué)習(xí)——找到main()函數(shù)（1）【至于我為什么要寫這一系列文章，目的為“縫合”，即把別人的知識枝丫縫合到自己的知識主干上，把別人的東西化為自己的東西。通俗地說，就是要寫出來。當(dāng)然，這是知識縫合的方式之一。】...
發(fā)簡信
IP屬地：浙江
-
-
創(chuàng)建Future時(shí)加synchronized關(guān)鍵字
本文想探討的問題有兩個(gè)： 如果我們在synchronized代碼塊中創(chuàng)建一個(gè)Future會發(fā)生什么？ 如果我們在創(chuàng)建Future的代碼塊中加synchronized又會發(fā)生什...
-
Spark之a(chǎn)bort stage
NOTE：本文要求讀者對spark的運(yùn)行原理有基本的了解。 需要明確的一點(diǎn)是，abort不同于fail。如果一個(gè)stage fail了，那么它還有可能被resubmit，然后...
-
Spark在提交多個(gè)作業(yè)時(shí)Stage劃分的小思考本文要求讀者了解DAGScheduler如何劃分一個(gè)作業(yè)的stages。本文主要內(nèi)容是作者個(gè)人關(guān)于spark在提交多個(gè)作業(yè)時(shí)，stage劃分的一些小思考。 假設(shè)我們有如下圖所...
-
Spark UnifiedMemoryManager之maybeGrowExecutionPool()分析
Note：本文要求讀者對UnifiedMemoryManager的原理有基本的了解。希望讀者能與作者一起探討。 本文試圖分析UnifiedMemoryManager中的may...
-
Spark編譯(使用阿里云maven倉庫)
我以近十天的編譯Spark的痛苦經(jīng)歷，來分享一下如何在國內(nèi)快速的完成Spark編譯。 其實(shí)，唯一的任務(wù)就是將Spark中的默認(rèn)maven中央倉庫地址，替換成國內(nèi)的maven倉...
-
idea調(diào)試spark斷點(diǎn)設(shè)置無效的問題
今天調(diào)試spark(read分支)，設(shè)置斷點(diǎn)，debug運(yùn)行，就是不能在斷點(diǎn)的地方停止運(yùn)行。但是，我能非常肯定，代碼是會執(zhí)行到這里的。 另外，在某些函數(shù)單步執(zhí)行的時(shí)候，執(zhí)行順...
-
拖延癥晚期。。。
今天我才意識到，我的身上發(fā)生了重大問題。我已經(jīng)患上了嚴(yán)重的拖延癥?。。?我一直以為自己的有分寸和把握，到最后都成為了把我推向要死的邊緣！ 十一回家，好好休整！整理一下最近拖的...
-
Thymeleaf 模板的使用
Thymeleaf 是現(xiàn)代化服務(wù)器端的Java模板引擎，不同與JSP和FreeMarker，Thymeleaf的語法更加接近HTML，并且也有不錯的擴(kuò)展性。詳細(xì)資料可以瀏覽官...
-
關(guān)于簡書的使用方式我突然意識到，簡書之所以能被稱為簡書，應(yīng)該以非常簡便的方式去書寫。所以，更多的時(shí)候，我們只寫一句話也足夠。這也可以是非常好的記錄。 附一張晚上在公司拍的照片。
-
如果讀完覺得有收獲的話，歡迎關(guān)注我的公眾號：占小狼的博客 <a href="https://links.jianshu.com/go?to=https%3A%2F%2Fdwz.cn%2FD8Q1K7Ft" target="_blank">https://dwz.cn/D8Q1K7Ft</a><br><br><br>
-
Java NIO
(轉(zhuǎn)載說明：本文非原創(chuàng)，轉(zhuǎn)載自http://ifeve.com/java-nio-all/） Java NIO: Channels and Buffers（通道和緩沖區(qū)）標(biāo)準(zhǔn)...
-
Hadoop源碼學(xué)習(xí)——DistributedFileSystem、DFSClient、Namenode三者的協(xié)作（4）
我們先來看看Hadoop源碼中對DFS Client的注釋說明： 顯然，DFSClient在DistributedFileSystem和NameNode和之間起到了橋梁的作用...
-
Hadoop源碼學(xué)習(xí)——從"-ls /"開始認(rèn)識FsShell（3）
閑話少敘，言歸正傳。這次，我們從"-ls /"命令入手，窺探一下hdfs。hdfs模塊提供了一個(gè)org.apache.hadoop.fs.FsShell類用來支持用戶在終端的...
-
Hadoop源碼學(xué)習(xí)——啟動HDFS（2）這里，我們省略hadoop源碼導(dǎo)入eclipse的過程。在上一篇我們尋找main()函數(shù)的文章，我們可以看到，腳本文件啟動hdfs的過程分兩步，見下圖： 先啟動namenod...
-
Hadoop源碼學(xué)習(xí)——找到main()函數(shù)（1）【至于我為什么要寫這一系列文章，目的為“縫合”，即把別人的知識枝丫縫合到自己的知識主干上，把別人的東西化為自己的東西。通俗地說，就是要寫出來。當(dāng)然，這是知識縫合的方式之一?！?..
