用python寫網(wǎng)絡(luò)爬蟲三：磁盤下載緩存

下載緩存：假設(shè)我們對同一個網(wǎng)站進行了多次下載，在百萬個網(wǎng)頁的情況下是不明智的，所以我們需要緩存，下過一次的不再重復(fù)下載，這樣我們能夠節(jié)省很多時間
為鏈接爬蟲添加緩存支持：
在下載之前進行判斷，該鏈接是否含有緩存，只在沒有緩存發(fā)生下載是觸發(fā)限速功能，

支持緩存功能的代碼實現(xiàn).png

完整代碼地址
為 了支持緩存功能， 鏈接爬蟲的代碼也需要進行一些微調(diào) ， 包括添
加 cache 參數(shù)、 移除限速以及將 download 函數(shù)替換為新的類等， 如下面的
代碼所示。

def link_crawler(seed_url, link_regex=None, delay=5, max_depth=-1, max_urls=-1, user_agent='wswp', proxies=None, num_retries=1,scrape_callback=None, cache=None):
    '''crawl from the given seed URL following link matched by link_regex'''
    crawl_quene = [seed_url]
    seen = {seed_url: 0}
    num_urls = 0
    rp = get_robots(seed_url)
    D = Downloader(delay=delay, user_agent=user_agent, proxies=proxies, num_retries=num_retries, cache=cache)

    while crawl_quene:
        url = crawl_quene.pop()
        depth = seen[url]
        if rp.can_fetch(user_agent, url):
            html = D(url)
            links = []

磁盤緩存

將下載到的網(wǎng)頁存儲到文件系統(tǒng)中，實現(xiàn)該功能，需要將URL安全的映射為跨平臺的文件名


主流文件系統(tǒng)的限制.png

為了保證在不同的文件系統(tǒng)中文件路徑都是安全，我們需要限制其只能包含數(shù)字字母和基本符號，并將其他字符轉(zhuǎn)換為下劃線，
代碼實現(xiàn)：

import re 
url = 'http://example.webscraping.com/default/view/Australia-1'
re.sub('[^/0-9a-zA-Z\-.,;_]', '_', url)

需要文件名及其父目錄的長度不超過255個字符

filename = '/'.join(segment[:255] for segment in filename.split('/'))

還有一種邊界情況，就是URL以斜杠結(jié)尾。這樣分割URL后就會造成一個非法的文件名。例如：

       import urlparse
       components=urlparse.urlsplit ('http://example.webscraping.com/index/')
       print componts
       print components.path
       comonents = urlparse.urlsplit(url)
        path = comonents.path
        if not path:
            path = '/index.html'
        elif path.endswith('/'):
            path += 'index.html'
        filename = comonents.netloc+path+comonents.query

實現(xiàn)將URL到文件名的這些映射邏輯結(jié)合起來，

  def url_to_path(self, url):
        comonents = urlparse.urlsplit(url)
        path = comonents.path
        if not path:
            path = '/index.html'
        elif path.endswith('/'):
            path += 'index.html'
        filename = comonents.netloc+path+comonents.query
        filename = re.sub('[^/0-9a-zA-z\-.]', '_', filename)
        filename = '/'.join(segment[:255] for segment in filename.split('/'))
        return os.path.join(self.cache_dir, filename)

然后在
url to path 方法中應(yīng)用 了前面討論的文件名 限制。 現(xiàn)在， 我們還缺少根
據(jù)文件名存取數(shù)據(jù)的方法， 下面的代碼實現(xiàn)了這兩個缺失的方法。

  def __getitem__(self, url):
        path = self.url_to_path(url)
        if os.path.exists(path):
            with open(path, 'rb') as fp:
                data = fp.read()
                if self.compress:
                    data = zlib.decompress(data)
                result, timestamp = pickle.loads(data)
                if self.has_expired(timestamp):
                    raise KeyError(url + 'has expired')
                return result
        else:
            raise KeyError(url + 'doesnot exist')

    def __setitem__(self, url, result):
        path = self.url_to_path(url)
        folder = os.path.dirname(path)
        if not os.path.exists(folder):
            os.makedirs(folder)

        data = pickle.dumps((result, datetime.utcnow()))
        if self.compress:
            data = zlib.compress(data)
        with open(path, 'wb') as fp:
            fp.write(data)

通過測試發(fā)現(xiàn)有緩存（第二次）所需要的時間遠遠少于沒有使用緩存(第一次)的時間
節(jié)省磁盤空間：
為了節(jié)省磁盤空間我們對下載得到的html進行壓縮處理，使用zlib模塊進行壓縮

fp.write(zlib.compress(pickle.dumps(result)))

解壓

return pickle.loads(zlib.decompress(fp.read()))

清理過期數(shù)據(jù)：
我們將為緩存數(shù)據(jù)添加過期時間 ， 以便爬蟲知道何時需要重新下載網(wǎng)頁，。在構(gòu)造方法中，我們使用timedelta對象將默認過期時間設(shè)置為30天，在set方法中把當前時間戳保存在序列化數(shù)據(jù)中，在get方法中對比當前時間和緩存時間，檢查是否過期。完整代碼

class DiskCache:

    def __init__(self, cache_dir='cache', expires=timedelta(days=30), compress=True):
        self.cache_dir = cache_dir
        self.expires = expires
        self.compress = compress

    def __getitem__(self, url):
        path = self.url_to_path(url)
        if os.path.exists(path):
            with open(path, 'rb') as fp:
                data = fp.read()
                if self.compress:
                    data = zlib.decompress(data)
                result, timestamp = pickle.loads(data)
                if self.has_expired(timestamp):
                    raise KeyError(url + 'has expired')
                return result
        else:
            raise KeyError(url + 'doesnot exist')

    def __setitem__(self, url, result):
        path = self.url_to_path(url)
        folder = os.path.dirname(path)
        if not os.path.exists(folder):
            os.makedirs(folder)
        data = pickle.dumps((result, datetime.utcnow()))
        if self.compress:
            data = zlib.compress(data)
        with open(path, 'wb') as fp:
            fp.write(data)

    def __delitem__(self, url):
        path = self._key_path(url)
        try:
            os.remove(path)
            os.removedirs(os.path.dirname(path))
        except OSError:
            pass

    def url_to_path(self, url):
        comonents = urlparse.urlsplit(url)
        path = comonents.path
        if not path:
            path = '/index.html'
        elif path.endswith('/'):
            path += 'index.html'
        filename = comonents.netloc+path+comonents.query
        filename = re.sub('[^/0-9a-zA-z\-.]', '_', filename)
        filename = '/'.join(segment[:255] for segment in filename.split('/'))
        return os.path.join(self.cache_dir, filename)

    def has_expired(self, timestamp):
        return datetime.utcnow() > timestamp+self.expires

    def clear(self):
        if os.path.exists(self.cache_dir):
            shutil.rmtree(self.cache_dir)
if __name__ == '__main__':    link_crawler('http://example.webscraping.com/', '/(index|view)', cache=DiskCache())

用磁盤緩存的缺點
由于受制于文件系統(tǒng)的限制，之前我們將URL映射為安全文件名，然而這樣又會引發(fā)一些問題：- 有些URL會被映射為相同的文件名。比如URL：.../count.asp?a+b
,.../count.asp?a*b
。- URL截斷255個字符的文件名也可能相同。因為URL可以超過2000下字符。
使用URL哈希值為文件名可以帶來一定的改善。這樣也有一些問題：- 每個卷和每個目錄下的文件數(shù)量是有限制的。FAT32文件系統(tǒng)每個目錄的最大文件數(shù)65535，但可以分割到不同目錄下。- 文件系統(tǒng)可存儲的文件總數(shù)也是有限的。ext4分區(qū)目前支持略多于1500萬個文件，而一個大型網(wǎng)站往往擁有超過1億個網(wǎng)頁。
要想避免這些問題，我們需要把多個緩存網(wǎng)頁合并到一個文件中，并使用類似B+樹的算法進行索引。但我們不會自己實現(xiàn)這種算法，而是在下一節(jié)中介紹已實現(xiàn)這類算法的數(shù)據(jù)庫。

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容