大師兄的Python學(xué)習(xí)筆記(二十七）: 爬蟲（八）
大師兄的Python學(xué)習(xí)筆記(二十九）: 爬蟲（十）

十、Pyspider框架

• Pyspider是由國人binux編寫的強(qiáng)大網(wǎng)絡(luò)爬蟲框架。
• 點(diǎn)擊查看Pyspider官方文檔。

1. 安裝Pyspider

• 可以直接通過pip install pyspider安裝。
• 安裝后，使用pyspider all啟動驗證安裝結(jié)果。

• 如果發(fā)生async=True錯誤，則是因為你的Python版本高于3.7,在3.7后async成為關(guān)鍵字。

  
  

• 解決辦法是將以下三個文件中的async關(guān)鍵字替換為其他變量
  Lib\site-packages\pyspider\run.py
  Lib\site-packages\pyspider\webui\app.py
  Lib\site-packages\pyspider\fetcher\tornado_fetcher.py

  
  
  
  
• 如果發(fā)生- Deprecated option 'domaincontroller': use 'http_authenticator.domain_controller' instead.錯誤，則修改Lib\site-packages\pyspider\webui\webdav.py文件.

將'domaincontroller': NeedAuthController(app),
修改為
'http_authenticator': {
'HTTPAuthenticator': NeedAuthController(app),
},
再使用python -m pip install wsgidav==2.4.1指令將wsgidav版本降為2.4.1

• 如果發(fā)生phantomjs not found, continue running without it.錯誤，則下載phantomjs.exe并和python.exe放到同一個文件夾下。

• 如果一切順利，則啟動一個web服務(wù)。

  
  

• 瀏覽器打開本地5000端口，如果打開Pyspider webUI頁面，則表示安裝成功。

  
  

2. Pyspider的基本功能

• 方便易用的WebUI系統(tǒng)，能夠可視化地編寫和調(diào)試爬蟲。
• 能夠監(jiān)控爬取進(jìn)度、查看爬取結(jié)果、管理爬蟲項目等。
• 支持多種數(shù)據(jù)庫。
• 支持多種消息隊列。
• 具備優(yōu)先級控制、失敗重試、定時爬取等功能。
• 對接了PhantomJs,可以抓取js渲染的頁面。
• 支持淡季和分布式部署，支持docker部署。

3. 與Scrapy對比

• 如果快速實現(xiàn)一個頁面的抓取使用Pyspider,如果應(yīng)對大規(guī)模抓取或爬程度強(qiáng)的頁面使用Scrapy。

4. Pyspider的架構(gòu)

• Pyspider的架構(gòu)主要分為Scheduler(調(diào)度器)、Fetcher(抓取器)和Processer(處理器)三個部分。

• 爬取過程受Monitor(監(jiān)控器)監(jiān)控，抓取結(jié)果被Result Worker(結(jié)果處理器)處理。

  
  

5. Pyspider的工作流程

第一步:
調(diào)用Handler類的on_start()方法生成最初任務(wù)，并發(fā)送給Scheduler調(diào)度。
第二步:
Scheduler將任務(wù)發(fā)給Fetcher抓取內(nèi)容，并將內(nèi)容發(fā)給Processer。
第三步:
Processer處理響應(yīng)并提取出新的URL生成新的抓取任務(wù)。
Processer通過消息隊列通知Scheduler當(dāng)前抓取任務(wù)的執(zhí)行情況。
Processer將新的抓取人物發(fā)送給Scheduler。
Processer將新的提取結(jié)果發(fā)給Result Worker處理。
第四步:
Scheduler接收新的抓取任務(wù)，查詢數(shù)據(jù)庫判斷是抓取任務(wù)還是重試任務(wù)，并發(fā)送Fetcher。
不斷重復(fù)以上內(nèi)容，知道所有任務(wù)執(zhí)行完畢，抓取結(jié)束。
第五步:
回調(diào)on_finished()方法，這里可以定義后處理過程。

6. Pyspider的使用

• 以從爬取豆瓣影視區(qū)為例。

6.1 啟動pyspider

• 命令行輸入pyspider all，啟動PhantomJs、ResultWorker、Processer、Fetcher、Scheduler和WebUI。
  
• 瀏覽器輸入地址http:localhost:port，打開WebUI。
  

6.2 創(chuàng)建新項目

• 在WebUI創(chuàng)建一個新項目。

  
  

• 進(jìn)入編輯和調(diào)試頁面，并生成一段代碼。

  
  
• 編輯頁面的左側(cè)是代碼的調(diào)試頁面，左上角的run可以單步調(diào)試爬蟲，下方可以預(yù)覽網(wǎng)頁。
  

• 編輯頁面的右側(cè)是代碼的編輯頁，可以在IDE中寫完了再黏貼過來。

  
  

• Handler(BaseHandler)是爬蟲的主類，可以定義爬取、解析、存儲的邏輯。
• crawl_config用于爬蟲的全局配置。
• on_start()是爬取的入口，調(diào)用crawl()方法創(chuàng)建爬取請求，如果爬取成功，則將Response交給index_page()解析。
• index_page()接收Response參數(shù)，并通過pyquery解析頁面。同時，還會遍歷鏈接，并通過crawl()生成新的請求。
• detail_page()接收Response參數(shù)，并抓取頁面信息，不會生成新的請求。

6.3 爬取首頁

• 點(diǎn)擊run后，下方的follow會出現(xiàn)標(biāo)注1，表示有新的爬取請求產(chǎn)生。
  
• 點(diǎn)擊右箭頭，執(zhí)行爬取請求，并通過index_page()函數(shù)解析了內(nèi)容。
  

6.4 爬取頁面數(shù)據(jù)

• 為了爬取頁面數(shù)據(jù)，我們需要修改Handler代碼。
• 使用pyquery解析頁面。

>>>#!/usr/bin/env python
>>># -*- encoding: utf-8 -*-
>>># Created on 2020-09-01 10:17:23
>>># Project: douban_spider

>>>from pyspider.libs.base_handler import *


>>>class Handler(BaseHandler):
>>>    crawl_config = {
>>>    }

>>>    @every(minutes=24 * 60)
>>>    def on_start(self):
>>>        self.crawl('https://movie.douban.com/chart', callback=self.index_page)

>>>    @config(age=10 * 24 * 60 * 60)
>>>    def index_page(self, response):
>>>        for each in response.doc('table').items():
>>>            item = [x for x in each.find('span').items()]
>>>            name = item[0].text()
>>>            rating = item[2].text()
>>>            print(f'片名:{name}\n評分:{rating}\n')

• webUI顯示結(jié)果:

  
  

6.5 爬取子頁面

• 修改Handler代碼，收集子頁面鏈接，并創(chuàng)建新任務(wù)。

>>>#!/usr/bin/env python
>>># -*- encoding: utf-8 -*-
>>># Created on 2020-09-01 10:17:23
>>># Project: douban_spider

>>>import json
>>>from pyspider.libs.base_handler import *

>>>class Handler(BaseHandler):
>>>    crawl_config = {
>>>    }

>>>    @every(minutes=24 * 60)
>>>    def on_start(self):
>>>        self.crawl('https://movie.douban.com/chart', callback=self.index_page)

>>>    @config(age=10 * 24 * 60 * 60)
>>>    def index_page(self, response):
>>>        urls = set()
>>>        for each in response.doc('a[href^="https://movie.douban.com/subject/"]').items():
>>>            if each.attr.href not in urls:
>>>                self.crawl(each.attr.href,callback=self.detail_page)
>>>                urls.add(each.attr.href)
    
>>>    @config(priority=2,fetch_type="js")
>>>    def detail_page(self,response):
>>>        page = json.loads(response.doc("script[type='application/ld+json']").text())   
>>>        return {
>>>            "url": response.url,
>>>            "title": response.doc('title').text(),
>>>            "directors": [x.get("name") for x in page.get("director")],
>>>            "author":[x.get("name") for x in page.get("author")],
>>>            "actors":[x.get("name") for x in page.get("actor")],
>>>            "description":page.get("description"),
>>>            "rating":page.get("aggregateRating").get("ratingValue")
>>>        }

• 在爬去首頁后出現(xiàn)了37個新任務(wù)。

  
  

• 執(zhí)行第一個任務(wù)，爬取第一個子頁面內(nèi)容。

  
  
  image.png

6.5 啟動爬蟲

• 在webUI的項目頁面，修改爬蟲狀態(tài)為running或debug。

  
  

• 點(diǎn)擊run啟動爬蟲

  
  

• 點(diǎn)擊Active Tasks查看最近請求的詳細(xì)狀況

  
  

• 點(diǎn)擊Result查看爬取結(jié)果

  
  

7. Pyspider的方法

7.1 命令行用法

• pyspider命令行有很多可配置參數(shù)，完整結(jié)構(gòu)為：pyspider [OPTIONS] COMMAND [ARGS]
• OPTIONS為可選參數(shù)，可指定參數(shù)如下：

• 可以使用pyspider scheduler [OPTIONS]單獨(dú)運(yùn)行Scheduler組件,OPTIONS參數(shù)如下：

• 可以使用pyspider fetcher [OPTIONS]單獨(dú)運(yùn)行Fetcher組件,OPTIONS參數(shù)如下：

• 可以使用pyspider processor [OPTIONS]單獨(dú)運(yùn)行Processor組件,OPTIONS參數(shù)如下：

• 可以使用pyspider webui [OPTIONS]單獨(dú)運(yùn)行WebUI,OPTIONS參數(shù)如下：

7.2 self.crawl()用法

• self.crawl()方法實現(xiàn)了新請求的生成，參數(shù)配置如下：

• 可以使用crawl_config指定全局配置，配置中的參數(shù)會和crawl()方法創(chuàng)建任務(wù)時的參數(shù)合并。

>>>class Handler(BaseHandler):
>>>    crawl_config = {
>>>    }

7.3 任務(wù)區(qū)分

• 可以使用URL的MD5值作為任務(wù)的唯一ID,判斷是否是重復(fù)任務(wù)。

>>>import pyspider.libs.utils import md5string
>>>import json

>>>def get_taskid(self,task):
>>>      return md5string(task['url']+json.dumps(task['fetch'].get('data','')))

7.4 定時爬取

• 可以通過every屬性設(shè)置爬取的時間間隔。
• 需要大于有效時間。

# 一小時爬取一次
@every(minutes=60)
def on_start(self):
    self.crawl(url,callback=self.index_page) 

7.5 項目狀態(tài)

7.6 刪除項目

• 如果要刪除項目，需要將項目狀態(tài)設(shè)置為STOP，并將分組設(shè)置為delete,24小時后項目自動刪除。

  
  

參考資料

• https://blog.csdn.net/u010138758/article/details/80152151 J-Ombudsman
• https://www.cnblogs.com/zhuluqing/p/8832205.html moisiet
• https://www.runoob.com 菜鳥教程
• http://www.tulingxueyuan.com/ 北京圖靈學(xué)院
• http://www.imooc.com/article/19184?block_id=tuijian_wz#child_5_1 兩點(diǎn)水
• https://blog.csdn.net/weixin_44213550/article/details/91346411 python老菜鳥
• https://realpython.com/python-string-formatting/ Dan Bader
• https://www.liaoxuefeng.com/ 廖雪峰
• https://blog.csdn.net/Gnewocean/article/details/85319590 新海說
• https://www.cnblogs.com/Nicholas0707/p/9021672.html Nicholas
• https://www.cnblogs.com/dalaoban/p/9331113.html 超天大圣
• https://blog.csdn.net/zhubao124/article/details/81662775 zhubao124
• https://blog.csdn.net/z59d8m6e40/article/details/72871485 z59d8m6e40
• http://www.itdecent.cn/p/2b04f5eb5785 MR_ChanHwang
• 《Python學(xué)習(xí)手冊》Mark Lutz
• 《Python編程 從入門到實踐》Eric Matthes
• 《Python3網(wǎng)絡(luò)爬蟲開發(fā)實戰(zhàn)》崔慶才

本文作者：大師兄(superkmi)