文檔的完全備份和增量備份

要求:

  • 周一完全備份,其他時間增量備份
  • 源文件:/tmp/demo/security
  • 目標文件:/tmp/demo/backup
  • md5文件:/tmp/demp/backup/md5.data
import hashlib                        #導(dǎo)入哈希模塊,用于計算哈希值
import tarfile                           #導(dǎo)入備份模塊
from time import strftime      #導(dǎo)入時間模塊
import os                  
import pickle                        #pickle用于將任意類型數(shù)據(jù)以二進制寫入文件

def check_md5(fname):        #定義計算md5值的函數(shù)
    m = hashlib.md5()             #因一個文件對應(yīng)一個md5值,所以使用字典

    with open(fname, 'rb') as fobj:    #打開要計算的文件,作為一個對象
        while True:
            data = fobj.read(4096)        #一次讀取4k字節(jié)
            if not data:
                break
            m.update(data)                    #如果讀取到數(shù)據(jù),就更新md5值

    return m.hexdigest()                  #計算完之后,返回md5值字典
  
def full_backup(src, dst, md5file):                #定義完全備份函數(shù)
    fname = '%s_full_%s.tar.gz' % (os.path.basename(src), strftime('%Y%m%d'))              #定義文件名:xxx_full_20190710.tar.gz
#將文件名和路徑組合:/tmp/demp/backup/xxx_full_20190710.tar.gz
    fname = os.path.join(dst, fname)      

    # 打壓縮包
    tar = tarfile.open(fname, 'w:gz')        #以gz格式壓縮
    tar.add(src)
    tar.close()                                        #壓縮完成之后要關(guān)閉文件

    # 計算每個文件的md5值
    md5dict = {}                    #以字典類型保存md5值
#os.walk輸出的格式為[路徑][文件夾名][文件名]
    for path, folders, files in os.walk(src):      
        for file in files:          
#一個文件中可能有多個文件和文件夾,使用此方法可以遍歷所有文件
            key = os.path.join(path, file)      #將路徑和文件名組合起來
            md5dict[key] = check_md5(key)    #計算md5值

    # 把md5值字典保存到文件
#wb方式打開,若文件有則清空,若無則創(chuàng)建
    with open(md5file, 'wb') as fobj:          
        pickle.dump(md5dict, fobj)      #使用pickle.dump寫入

#定義增量備份函數(shù)
#思路:先計算當(dāng)前目錄的md5值,然后把前一天的md5值取出來比較,若不一樣則備份

def incr_backup(src, dst, md5file):            
    fname = '%s_incr_%s.tar.gz' % (os.path.basename(src), strftime('%Y%m%d'))      #xxx_incr_20190710.tar.gz
#/tmp/demo/backup/xxx_incr_20190710.tar.gz
    fname = os.path.join(dst, fname)  

    # 計算當(dāng)前目錄下文件的md5值
    md5dict = {}
    for path, folders, files in os.walk(src):
        for file in files:
            key = os.path.join(path, file)
            md5dict[key] = check_md5(key)

    # 取出前一天的文件md5值
    with open(md5file, 'rb') as fobj:
        old_md5 = pickle.load(fobj)

    # 找出變化的文件和新增的文件,把它們壓縮
    tar = tarfile.open(fname, 'w:gz')
    for key in md5dict:      #遍歷當(dāng)前目錄下的md5值
#有兩種情況,old_md5.get(key)為空,則為新文件,old_md5.get(key)和新的md5值不一樣,則文件發(fā)送改變
        if old_md5.get(key) != md5dict[key]:      
            tar.add(key)
    tar.close()

    # 把當(dāng)前的md5字典寫到文件中,以便下一次比較使用
    with open(md5file, 'wb') as fobj:
        pickle.dump(md5dict, fobj)

if __name__ == '__main__':  
    src = '/tmp/demo/security'          #源文件,要備份的文件
    dst = '/tmp/demo/backup'          #備份后的文件
    md5file = '/tmp/demo/backup/md5.data'        #md5值文件
    if strftime('%a') == 'Mon':                #周一執(zhí)行完全備份
        full_backup(src, dst, md5file)
    else:
        incr_backup(src, dst, md5file)

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容