HDFS與LINUX文件系統(tǒng)的區(qū)別

20170831202928457.png

每個磁盤都有默認(rèn)的數(shù)據(jù)塊大小,這是磁盤進(jìn)行數(shù)據(jù)讀/寫的最小單位。而構(gòu)建于單個磁盤之上的文件系統(tǒng)(linux文件系統(tǒng))通過磁盤塊來管理該文件系統(tǒng)中的塊,該文件系統(tǒng)中的文件大小是磁盤塊的整數(shù)倍。磁盤塊的大小一般為512字節(jié),其讀寫的最小單位是磁盤塊的最小單位.文件占用的塊由inode進(jìn)行管理,記錄該文件存放數(shù)據(jù)的N個block的物理地址。

HDFS同樣也有塊的概念,HDFS文件系統(tǒng)中的塊指的是linux文件,分布式文件就是有多個linux文件(塊)組成。其最小塊單位就是一個Linux文件的大小,默認(rèn)為64MB,其分片成的linux文件的文件名有HDFS的namenode管理,該節(jié)點(diǎn)還管理了linux文件對應(yīng)datanode節(jié)點(diǎn)的映射關(guān)系。

假設(shè)有一個1G的大文件,在linux文件系統(tǒng)上就是一個文件,由1G/512b的block組成;在HDFS上需要1024MB/64MB=16塊,即16個linux文件組成,所以相當(dāng)于一個普通1G的文件分成了16個小文件,在HDFS上的namenode會記錄1G文件名對應(yīng)16個文件名映射關(guān)系和16個文件名在對應(yīng)datanote節(jié)點(diǎn)上的映射關(guān)系(備份除外)。datanote節(jié)點(diǎn)上的16個小文件就是linux文件,在各自datanote節(jié)點(diǎn)上的inode里記錄了16個文件對應(yīng)物理磁盤的映射關(guān)系。簡而言之:1G的分布式文件轉(zhuǎn)換成16個linux文件,HDFS就是實(shí)現(xiàn)了拆分文件功能,當(dāng)然由于考慮單點(diǎn)故障原因,它把每個文件復(fù)制了3份(默認(rèn)),不管哪個節(jié)點(diǎn)出故障可以合成完整的一個1G文件。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 當(dāng)數(shù)據(jù)量增大到超出了單個物理計(jì)算機(jī)存儲容量時,有必要把它分開存儲在多個不同的計(jì)算機(jī)中。那些管理存儲在多個網(wǎng)絡(luò)互連的...
    單行線的旋律閱讀 2,058評論 0 7
  • 首先,我們在使用前先看看HDFS是什麼?這將有助于我們是以后的運(yùn)維使用和故障排除思路的獲得。 HDFS采用mast...
    W_Bousquet閱讀 4,437評論 0 2
  • 1.Linux下如何用命令查看實(shí)時日志(完整命令) tail -f 路徑.log查看前多少行 tai-200f 路...
    qianyewhy閱讀 2,549評論 0 11
  • 2015年度,我國個人捐贈總額達(dá)到169.30億元,以網(wǎng)民為代表的平民捐贈發(fā)展迅速。國內(nèi)主要的四家網(wǎng)絡(luò)募捐平臺微公...
    穎瑜閱讀 348評論 0 0
  • 今天,不知何從下筆,春秋戰(zhàn)國的歷史跨越550年,百家爭鳴,百花齊放,可以說是中華文明的基石,也是思想發(fā)展的巔峰時期...
    強(qiáng)哥趣談歷史閱讀 3,838評論 0 0

友情鏈接更多精彩內(nèi)容