一.目錄 本系列文章對Hadoop知識進行復盤。分為四個階段，Copy階段，Merge階段，Sort階段，Reduce階段。如下為ReduceTask類的runNewRedu...
發(fā)簡信
IP屬地：廣東
-
從源碼角度分析MapReduce運作_三.Reduce階段
-
從源碼角度分析MapReduce運作_二.Map階段
一.目錄 本系列文章對Hadoop知識進行復盤。分為五個階段，Read階段，Map階段，Collect階段，溢寫階段，Combine階段。如下為MapTask類的runNew...
-
從源碼角度分析MapReduce運作_一.準備階段
一.目錄 本系列文章對Hadoop知識進行復盤。分為兩個階段，建立連接階段，提交job階段。 二.建立連接 客戶端提交MR程序后，首先是運行job.waitForComple...
-
鏈接失效了，能再發(fā)一份嗎
UltraEdit for Mac安裝包、破解文件和破解教程
UltraEdit是一套功能強大的文本編輯器，可以編輯文本、十六進制、ASCII碼，可以取代記事本，內(nèi)建英文單字檢查、C++及VB指令突顯，HTML標簽顏色顯示、搜尋替換以及...
-
Java中接口與抽象類的區(qū)別
抽象類：如果一個類含有抽象方法，則稱這個類為抽象類，抽象類必須在類前用abstract關鍵字修飾。由于抽象方法只有聲明而沒有具體的實現(xiàn)，所以不能用抽象類創(chuàng)建對象。如果一個類繼...
-
簡述paxos算法
paxos算法是一種基于消息傳遞的且具有高度容錯性的一種算法，解決的問題是一個分布式系統(tǒng)如何就某個值達成一致。該算法的前提是假設不存在拜占庭將軍問題。在該算法中一共有三種角色...
-
zookeeper底層實現(xiàn)數(shù)據(jù)一致性
主要通過事務日志以及數(shù)據(jù)快照來實現(xiàn)。事務日志：記錄了對zookeeper的操作，以axid命名，可以快速的定位到查詢的事務。同時采用磁盤預分配策略，未使用的部分寫為0，避免每...
-
敘述ZAB集群數(shù)據(jù)同步的過程
zookeeper中的事務都是由一個全局唯一的ID稱為zxid，zxid由兩部分組成：一部分為leader周期epoch，一部分為遞增計數(shù)器。從算法的角度描述數(shù)據(jù)同步的過程：...
-
敘述你所知道的分布式一致性協(xié)議
2pc,3pc,paxos,zab在分布式應用中，每個節(jié)點都知道自己的事務提交的結果是成功或者失敗，但是無法直接獲取其他分布式節(jié)點的結果。因此需要一個協(xié)調(diào)者，其他節(jié)點成為參與...
-
簡述ZAB協(xié)議以及zookeeper
zookeeper為分布式應用提供了一個高效可靠的分布式協(xié)調(diào)服務，實現(xiàn)依賴于ZAB協(xié)議，實現(xiàn)了一種主備模式的架構來保持集群中數(shù)據(jù)的一致性。zookeeper使得分布式應用通過...
-
char可以用來存儲漢字嗎
char類型變量是用來存儲Unicode編碼的字符的，Unicode編碼字符集中包含了漢字，所以，char型變量中當然可以存儲漢字。不過，如果某個特殊的漢字沒有被包含在Uni...
-
spark中repartition與coalesce的區(qū)別
repartition和coalesce兩個都是對RDD的分區(qū)進行重新劃分，repartition只是coalesce接口中shuffle為true的簡易實現(xiàn)。假設RDD有N...
-
spark streaming的容錯處理
RDD的任一分區(qū)出現(xiàn)故障，都可以根據(jù)依賴的RDD恢復過來。由于spark streaming中的所有數(shù)據(jù)的變換操作都是基于RDD的，因此只要輸入數(shù)據(jù)集存在，所有的中間結果就可...
-
spark join的幾種形式
https://www.2cto.com/net/201612/575696.html1.Broadcast Join在數(shù)據(jù)庫的常見模型中（比如星型模型或者雪花模型），表一般...
-
spark RDD的內(nèi)部數(shù)據(jù)結構及不足
RDD由以下幾個主要部分組成：partitions，partition集合，一個RDD中有多個data partitiondependencies，RDD依賴關系，即對其他R...
-
spark hashPartitioner與rangePartitioner的實現(xiàn)
HashPartitioner分區(qū)原理很簡單，對于給定的key計算hashcode，并除以分區(qū)的個數(shù)取余，最后返回的值就是這個key所屬的分區(qū)ID。從HashPartitio...
-
spark streaming優(yōu)點和缺點
優(yōu)點：spark streaming會被轉化為spark作業(yè)執(zhí)行，由于spark作業(yè)依賴DAGScheduler和RDD，所以是粗粒度方式而不是細粒度方式，可以快速處理小批量...
-
spark stream優(yōu)化
運行時間優(yōu)化：1.合理設置批處理時間2.減少數(shù)據(jù)序列化、反序列化的負擔。DStream同樣也能通過persist()方法將數(shù)據(jù)流存放在內(nèi)存中，默認的持久化方式是MEMORY_...