歡迎關注微信號：student_Shang
小編是985院校小碩士一枚，歡迎關注，持續(xù)更新中~

京東商品搜索關鍵字胸罩

哈嘍，大家好~

在本次推送中，以京東商品搜索中關鍵字胸罩作為采集目標，重點采集相關數據，在本地根目錄下以
.xls 的形式進行存儲。

1 準備工作

在本次爬蟲開始之前，請確保已經安裝好了第三方 requests 庫、BeautifulSoup 庫、re 庫、xlwt 庫等。如果沒有安裝，請使用cmd打開命令行界面，并逐行鍵入以下代碼：

pip install requests
pip install bs4
pip install re
pip install xlwt

2 抓取分析

本次抓取的信息內容稍有難度，當然原理還是不變的。只需要利用 requests 庫向指定網站發(fā)送請求，獲取服務器傳來的響應，隨后利用 BeautifulSoup 庫完成對網頁代碼的解析，同時為了進一步防止觸發(fā)反爬蟲機制。具體分析如下：
首先，我們本次爬取的網站是

https://search.jd.com/Search?keyword=%E8%83%B8%E7%BD%A9&enc=utf-8&qrst=1&rt=1&stop=1&spm=2.1.1&vt=2&psort=4&click=0

右鍵點擊 檢查 按鈕，或者直接按下 F12 進入開發(fā)者界面，點開 Network 一欄，并按下 F5 刷新按鈕，必要時請按下 CTRL + F5 組合鍵完成頁面的刷新。隨后我們點擊刷新后出現的第一個子欄目。如下圖所示：

觀察list表單中的相關信息

這里我們可以看到，網站請求的 Request URL ，再往下翻觀察 Request Headers信息，為了避免觸發(fā)反爬蟲機制，我們要盡量把爬蟲程序做的更像是人在瀏覽網頁。

接下來便是對網頁的提取與保存，我們開始今天的爬蟲工作。

3 爬取信息與保存

在安裝完畢我們在一開始介紹的第三方庫后，這里我們需要首先導入這些文件才能夠進行后續(xù)的操作。

from bs4 import BeautifulSoup
import requests
import re
import xlwt

3.1 網頁請求頭的設置

為了使爬蟲程序模擬的更像人在操作，因此我們添加了請求過程中一些比較重要的請求頭信息，并將其整理成一個請求函數，具體如下：

def get_page(url):
    headers = {
        'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
        'referer':'https://search.jd.com/search?keyword=BRA&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=BRA&cid3=1364&psort=4',

    }
    r = requests.get(url,headers=headers)
    return r

接下來我們便開始網頁的爬取工作。

3.2 京東商品搜索關鍵字胸罩商品評論的爬取與保存

首先，我們需要對單個網頁的信息進行爬取，通過對響應代碼的分析，我們利用 BeautifulSoup 庫完成對代碼的解析。同時將其定義為 get_comments_url() 函數。具體如下：

def get_comments_url():
    good_id = []
    goods_url = 'https://search.jd.com/Search?keyword=%E8%83%B8%E7%BD%A9&enc=utf-8&qrst=1&rt=1&stop=1&spm=2.1.1&vt=2&psort=4&click=0'
    page_content = get_page(goods_url)
    soup = BeautifulSoup(page_content.content)
    goods_id = soup.find_all("li", class_="gl-item")
    for pid in goods_id:
        good_id.append(pid['data-sku'])

    f = xlwt.Workbook()
    sheet1 = f.add_sheet('bra', cell_overwrite_ok=True)
    row0 = ["size", "comment", "time"]
    # 寫入第一行
    for j in range(0, len(row0)):
        sheet1.write(0, j, row0[j])
    k = 0

    for product in good_id:
        print('正在爬取第{}個商品'.format(k + 1))
        for i in range(100):
            print('正在下載{}頁'.format(i+1))
            url = 'https://sclub.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv1538&productId={}&score=0&sortType=5&page={}&pageSize=10&isShadowSku=0&fold=1'.format(product,i)

            r = get_page(url)
            if r.status_code == 200:
                size = re.findall(r'"productSize":"(.*?)"', r.text)
                comment = re.findall(r'"content":"([^<]*?)"', r.text)
                time = re.findall(r'[^>]","creationTime":"([^<]*?)"', r.text)


            for j in range(10):
                sheet1.write(k * 1000 + i *10 + j + 1, 0, size[j][-1])
                sheet1.write(k * 1000 + i *10 + j + 1, 1, comment[j])
                sheet1.write(k * 1000 + i *10 + j + 1, 2, time[j])
        k += 1
        f.save('bra.xls')

單個網頁的內容收集完畢后，我們需要獲取如何跳入下一頁。這里我們發(fā)現，通過更改不同頁數的網頁 URL 之間的 pageNum 參數，可以實現網頁之間的切換?？紤]到需要抽取不同的樣本，因此我們每個商品只獲取前1000個數據。

3.3 啟動程序

最后，鍵入以下代碼便能夠實現整個程序的運行：

if __name__ == "__main__":
    get_comments_url()
    print('下載完成')

4 總結與展望

本次爬蟲程序在編寫過程中，因為對網頁的解析采用的是字符串的形式，最佳的解析方式便是采用正則表達式完成解析。在爬蟲程序完成后，會在爬蟲文件保存的根目錄下保存 .xls 的文件。此外，小編對這過萬的數據通過 EXCEL 軟件完成了數據的統計，其中驚人的發(fā)現...

驚人的發(fā)現...

微信公眾號：Python一號通
關注可了解更多的爬蟲教程及機器學習內容。
問題或建議，請公眾號留言