一、前言

網(wǎng)絡(luò)爬蟲的一般步驟：

1.獲取網(wǎng)頁

2.提取網(wǎng)頁信息

3.保存網(wǎng)頁信息

要用到的Python庫：

requests庫
os庫
lxml中的etree(xpath)

二、要求

1.爬取目標網(wǎng)站上 “動漫” 類別下所有的壁紙。

2.壁紙必須保存到腳本運行目錄下的的 IMAGES文件夾內(nèi)。(文件夾由腳本自動創(chuàng)建 沒有就創(chuàng)建 否則不創(chuàng)建)

3.保存的圖片必須以對應(yīng)標題名和分辨率來命名，如：秋田君的小漫畫 - 1920x1200.jpg。

4.圖片分辨率應(yīng)該是可選分辨率中最高的。

5.要有提示信息，格式：正在下載 (下載數(shù)量)：(圖片名字)。

6.要有錯誤處理并給出相應(yīng)提示，如：圖片下載失敗、網(wǎng)絡(luò)超時的處理等。

三、正文

爬取目標http://desk.zol.com.cn/dongman/

image.png

以上就是將要爬取的部分壁紙。

1.思路

image

第一步：分析網(wǎng)頁，寫出xpath路徑

分析網(wǎng)頁是應(yīng)首先按F12進入開發(fā)者模式，選擇element選項卡，使用元素選擇器，如圖：

image

由于我們要爬取列表所有壁紙，所以我們要獲取<li class="photo-list-padding">標簽下的所有<a>標簽，因此，xpath路徑為：

#圖片列表地址

//li[@class="photo-list-padding"]//a/@href

image

還需要把’下一頁‘的xpath路徑提取出來，為：

#下一頁的地址
//a[@id="pageNext"]/@href

image

需要提取出圖片的名字，xpath路徑為：

#圖片名稱
//a[@id="titleName"]/text()

image

這時候，由于既需要提取出分辨率，以及其網(wǎng)頁，故而需要兩個xpath路徑：

#下載圖片的路徑
//dd[@id="tagfbl"]//a[1]/@href
#最大分辨率1920*1200
//dd[@id="tagfbl"]//a[1]/text()

第二步：設(shè)置請求頭防止訪問受限

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36',
}

第三步：利用requests庫和lxml獲取并解析網(wǎng)頁

def get_dom(url):
    r = requests.get(url)
    dom = etree.HTML(r.text)
    return dom

第四步：下載并保存獲取的圖片

def download_image(url):
    dom = get_dom(url)
    download_url = dom.xpath('//img[contains(@src, "jpg")]/@src')[0]
    r_2 = requests.get(download_url)
    return r_2.content
def save_image(image_name, content, filepath='IMAGES/'):
    with open(filepath+image_name, 'wb') as f:
        f.write(content)

第五步：錯誤提示處理

下面給出完整代碼：

import requests
import os
from lxml import etree

headers = {'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"}

def get_text(url):
    r = requests.get(url, headers=headers)
    r.encoding = r.apparent_encoding
    dom = etree.HTML(r.text)
    return dom


def get_imgage(url, name, px):
    r = requests.get(url, headers=headers)
    if (r.status_code != 200):
        print("圖片下載失敗")
        return
    r.encoding = r.apparent_encoding
    f = open(f'{name}-{px}.jpg', 'wb')
    f.write(r.content)


def create_file():
    path = os.getcwd() + "\image"
    if not os.path.exists(path):
        os.makedirs(path)
    os.chdir(path)


def get_name_href(dom):
    name = dom.xpath('//li[@class="photo-list-padding"]//em//text()')
    href = dom.xpath('//li[@class="photo-list-padding"]//@href')
    return name, href


def getImgHref_Px(href):
    dom = get_text(href)
    try:
        px = dom.xpath('//dd[@id="tagfbl"]//a//@id')[0]
        imgage_url = dom.xpath('//dd[@id="tagfbl"]//a[@target="_blank"]//@href')[0]
        dom_1 = get_text(host + imgage_url)
        imgage_href = dom_1.xpath('//img//@src')[0]
        return imgage_href, px
    except:
        imgage_href = dom.xpath('//div[@id="mouscroll"]//img//@src')[0]
        return imgage_href, "960x600"


host = "http://desk.zol.com.cn"
target = "http://desk.zol.com.cn/dongman/"
cnt = 0
create_file() 

for x in range(1, 42):
    dom = get_text("http://desk.zol.com.cn/dongman/" + str(x) + ".html")
    name, href = get_name_href(dom)
    for i in range(0, len(href)):
        cnt = cnt + 1
        print("正在下載" + str(cnt) + ":" + name[i])
        imgHref, px = getImgHref_Px(host + href[i])
        get_imgage(imgHref, name[i], px)

以下是運行結(jié)果：

image.png

image.png