學(xué)習(xí)一下MPP架構(gòu)的特點，優(yōu)勢，常見的一些MPP架構(gòu)的系統(tǒng)（CK、Doris、SR、Trino等）各方面對比。 一、MPP架構(gòu)概述 1.1 什么是MPP架構(gòu) MPP (Mas...
發(fā)簡信
IP屬地：安徽
-
MPP架構(gòu)相關(guān)知識學(xué)習(xí)
-
【HDFS】EC重構(gòu)過程中的校驗功能：DecodingValidator
一、動機 DecodingValidator是在HDFS-15759中引入的一個用于校驗EC數(shù)據(jù)重構(gòu)正確性的組件。 先說下引入DecodingValidator的動機，據(jù)很多...
-
【HDFS】EC文件副本缺失后，會自動補充么？
EC存儲能夠有效較低存儲成本，但是我們也需要關(guān)注數(shù)據(jù)可用性相關(guān)的事情，避免發(fā)生數(shù)據(jù)丟失的情況。 本文來探討一下EC補充低冗余度的塊的相關(guān)知識。 先說一下什么是低冗余度，我以R...
-
【HDFS】BlockPlacementPolicyRackFaultTolerant#getMaxNode方法的功能及具體實例
方法參數(shù)說明： numOfChosen：已經(jīng)選擇的節(jié)點數(shù) numOfReplicas：還需要選擇的副本數(shù) 方法的返回值是一個長度為2的數(shù)組：[調(diào)整后的要選出多少個節(jié)點（不包括...
-
【Ratis】關(guān)于對Raft論文里safety的保證及代碼實現(xiàn)
Raft論文里算法部分核心內(nèi)容就三個方面：1、Leader Election 領(lǐng)導(dǎo)者選舉2、Log Replication 日志復(fù)制3、Safety 安全性 前面的系列文章...
-
【HDFS-Client系列】FSOutputSummer#write1方法的細(xì)節(jié)
有些代碼初次閱讀并不能看出其中的處理細(xì)節(jié)，但是當(dāng)過一段時間對這個部分熟悉了之后再來閱讀，就能發(fā)現(xiàn)并體會其中的細(xì)節(jié)。 本文說一下FSOutputSummer#write1的細(xì)節(jié)...
-
【HDFS】如果文件的lastblock的最后一個chunk不滿512字節(jié)，會生成checksum么？
如題，本文試圖弄清楚這樣一個問題：如果文件的最后一個block的最后一個chunk里的數(shù)據(jù)不足512字節(jié)，那么還會為其生成checksum么？ 先給出答案：會生成。 接著我們...
-
【HDFS】FsDatasetSpi#adjustCrcChannelPosition
FsDatasetSpi接口里定義adjustCrcChannelPosition方法。應(yīng)用場景在：append，block recovery等場景。 方法的作用是設(shè)置che...
-
【HDFS】DFSPacket中l(wèi)astPacketInBlock字段的關(guān)鍵作用！
這篇文章介紹了DFSPacket對象的lastPacketInBlock字段相關(guān)的知識?！綡DFS Client】DFSPacket對象什么情況下是lastPacketInB...
-
【HDFS Client】DFSOutputStream細(xì)節(jié)（未完成）
前言 本文主要介紹以下內(nèi)容：DFSOutputStream里的一些重要方法的作用DFSOutputStream里關(guān)于寫Packet的一些有趣的配置項。 重要方法 abort：...
-
【HDFS Client】DFSPacket對象什么情況下是lastPacketInBlock？前言：本篇文章主要回答了如下問題：① HDFS客戶端寫數(shù)據(jù)時怎么界定一個DFSPacket對象是此block里的最后一個DFSPacket？② DFSPacket對象里的la...
-
protobuf協(xié)議兼容處理
目標(biāo)： 了解protobuf是如何做協(xié)議兼容的。 問題： 在protobuf中，是怎么做到新舊協(xié)議傳輸?shù)募嫒莸?，比如：（問題一）在新的協(xié)議里面增加了一個字段，傳輸?shù)搅硪环绞侨?..
-
【HDFS】BlockSender發(fā)送數(shù)據(jù)源碼詳解本文包含如下內(nèi)容：1、BlockSend在發(fā)送數(shù)據(jù)之前讀數(shù)據(jù)文件和meta文件生成的Packet的結(jié)構(gòu)。2、BlockSender的核心方法：sendBlock和sendPa...
-
-
【HDFS】從BlockPoolSlice#createRbwFile到BlockReceiver()
BlockPoolSlice#createRbwFile的過程 FsDatasetImpl#createRbw的源碼詳解 需要構(gòu)造BlockReceiver的幾種情況討論 從...
-
【HDFS】FsDatasetImpl系列文章
【HDFS】FsDatasetImpl#recoverClose方法[https://blog.csdn.net/yexiguafu/article/details/1290...
-
【HDFS】一個RPC的生命周期，從服務(wù)端接收到響應(yīng)的各個階段的統(tǒng)計指標(biāo)注：本文參考的hadoop版本是：3.3.2 RPC生命周期 在ProcessingDetails.Timing枚舉類里： TODO：畫一幅圖，標(biāo)注出每個階段。 Handle...
-
openJDK源碼下載對于英文不好的同學(xué)，在國外的網(wǎng)站下載各種工具代碼， 是非常痛苦的。今天分享下openJDK源碼是如何下載的。 1.打開openjdk網(wǎng)站 打開鏈接 2.點擊想要下載的jdk的...
-
Linux內(nèi)核之文件系統(tǒng)如何描述一個文件 文件在內(nèi)存和磁盤上是如何描述的：每個文件至少要有一個數(shù)據(jù)結(jié)構(gòu)存放該文件的信息，包括uid、gid、flag、文件長度、文件內(nèi)容存放位置的數(shù)據(jù)結(jié)構(gòu)等。在Lin...
-
我在maven public倉庫里看到有g(shù)dal的包，直接用那個不行么?
【Java】maven-shaded-plugin超詳細(xì)詳解
一、總體介紹 maven-shaded-plugin提供了兩大基本功能： 將依賴的jar包打包到當(dāng)前jar包（常規(guī)打包是不會將所依賴的jar包打進(jìn)來的）； 對依賴的jar包進(jìn)...
