HDFS文件系統(tǒng)數(shù)據(jù)備份

HDFS快照是一個只讀的基于時間點文件系統(tǒng)拷貝??煺湛梢允钦麄€文件系統(tǒng)的 也可以是一部分。常用來作為數(shù)據(jù)備份,防止用戶錯誤和容災(zāi)快照功能。

HDFS實現(xiàn)功能:

  • Snapshot 創(chuàng)建的時間 復(fù)雜度為O(1),但是不包括INode 的尋找時間
  • 只有當(dāng)修改SnapShot時,才會有額外的內(nèi)存占用,內(nèi)存使用量為O(M),M 為修改的文件 或者目錄數(shù)
  • 在DataNode上面的blocks 不會復(fù)制,做Snapshot 的文件是紀(jì)錄了block的列表和文件的 大小,但是沒有數(shù)據(jù)的復(fù)制
  • Snapshot 并不會影響HDFS 的正常操作:修改會按照時間的反序記錄,這樣可以直接讀 取到最新的數(shù)據(jù)??煺諗?shù)據(jù)是當(dāng)前數(shù)據(jù)減去修改的部分計算出來的。

快照命令

  • 設(shè)置一個目錄為可快照
    $ bin/hdfs dfsadmin -allowSnapshot <path>
  • 取消目錄可快照
    $ bin/hdfs dfsadmin -disallowSnapshot <path>
  • 生成快照
    $ bin/hdfs dfs -createSnapshot <path> [<snapshotName>]
  • 刪除快照
    $ bin/hdfs dfs -deleteSnapshot <path> <snapshotName>
  • 列出所有可快照目錄
    $ bin/hdfs lsSnapshottableDir
  • 比較快照之間的差異
    $ bin/hdfs snapshotDiff <path> <fromSnapshot> <toSnapshot>

具體例子看光官網(wǎng)

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • dfsadmin主要操作命令 dfsadmin [GENERIC_OPTIONS] [-report] [-saf...
    itpark閱讀 7,278評論 1 8
  • 首先,我們在使用前先看看HDFS是什麼?這將有助于我們是以后的運維使用和故障排除思路的獲得。 HDFS采用mast...
    W_Bousquet閱讀 4,472評論 0 2
  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理,服務(wù)發(fā)現(xiàn),斷路器,智...
    卡卡羅2017閱讀 136,688評論 19 139
  • 他今晚有點高興。 他站在路邊,腦海里又浮現(xiàn)出那張熟悉的臉,和他以前追過的女孩子很像,他甩了甩頭...
    鶴與文閱讀 245評論 0 0
  • 一提起上海,好像無法和江南聯(lián)系起來。江南的意象,常常是一江朦朧,兩岸相思。而每次去上海,印象都是陰冷陰冷的,濕噠噠...
    王地閱讀 458評論 0 0

友情鏈接更多精彩內(nèi)容