Scrapy

1.Scrapy的命令行命令
  • 創(chuàng)建一個Scrapy工程
    終端輸入:
scrapy startproject <project_name> [project_dir]
//在project_dir下創(chuàng)建一個Scrapy項目,如果project_dir省略的話,
//會創(chuàng)建一個和<project_name>同名的文件夾內(nèi),項目放在當(dāng)前的文件路徑下
  • PyCharm 下直接運行 Scrapy
    Scrapy提供了一個cmdline模塊,使Python的模塊直接可以運行命令行
    方法如下:
    在目錄的頂層(非必須,主要是為了和業(yè)務(wù)代碼分開),單獨創(chuàng)建main.py文件.直接運行該文件, exampleName替換為你的Spider的名字 ,即 你的spider的 name屬性的內(nèi)容

main.py文件內(nèi)容如下

 # -*- coding=utf8 -*-from scrapy import 
from scrapy import cmdline
cmdline.execute("scrapy crawl exampleName".split())
2.目錄分類:
* 模擬登陸
* XPath和CSS的選擇器的使用
* Scrapy整體運行流程
* Python的setter和getter方法的創(chuàng)建
* Scrapy如何管理Request隊列
* item pipeline的使用
* Request
* 驗證碼識別
2.1 模擬登陸
1.如何快速定位POST的數(shù)據(jù)格式
    ```
    1.使用抓包工具進行解析
   ```
2.表單數(shù)據(jù)的Scrapy的數(shù)據(jù)提交和回調(diào)

def start_requests(self):   
    """    登陸頁面 獲取xrsf    """   
   return [Request(    "https://www.zhihu.com/#signin",  \
         meta={'cookiejar': 1},\
         callback=self.post_login\
       )]
//Scrapy 通過start_requests方法返回Request的請求list來進行請求,
//通過callback參數(shù)來確定回調(diào)方法,默認(rèn)的回調(diào)方法是 parser.
//如果不重寫start_requests方法,那就必須要提供start_urls 類的變量,
//官方說法是start_urls如果為空才調(diào)用start_requests方法生成請Request
//但是我測試的時候是start_requests會覆蓋掉start_urls的請求列表

不同回調(diào)方法官方示例:

import scrapy
class AuthorSpider(scrapy.Spider):
          name = 'author'
          start_urls = ['http://quotes.toscrape.com/']
def parse(self, response):
        # follow links to author pages
        for href in response.css('.author+a::attr(href)').extract():
               yield scrapy.Request(response.urljoin(href),
                                     callback=self.parse_author)
         # follow pagination links
         next_page = response.css('li.next a::attr(href)').extract_first()
          if next_page is not None:
               next_page = response.urljoin(next_page)
                yield scrapy.Request(next_page, callback=self.parse)
def parse_author(self, response):
       def extract_with_css(query):
              return response.css(query).extract_first().strip()
        yield {
          'name': extract_with_css('h3.author-title::text'),
          'birthdate': extract_with_css('.author-born-date::text'),
          'bio': extract_with_css('.author-description::text'),
                }
2.2XPath和CSS的選擇器的使用
1.XPath和CSS的語法
  詳情看專門章節(jié)
2.XPath和CSS選擇器

scrapy官方建議采用XPath選擇器,因為CSS選擇器的底層也是采用的XPath實現(xiàn)的.

 response.css("xxx") 
// 該方法返回一個類似list的SelectorList對象.
 response.css('title::text').extract()
//直接獲取text便簽下的內(nèi)容
 response.css('title::text').extract_first()
和response.css('title::text')[0].extract() 是相同功能.但extract_first(),在訪問的對象不存在是返回None,但后者卻是直接拋出異常.
  response.css('title::text').re(r'Quotes.*') 
  response.css('title::text').re(r'(\w+) to (\w+)')
 // re( )方法可以通過正則表達(dá)式,獲取需要的對象.

CSS和XPath可以相互轉(zhuǎn)換

from scrapy import Selector
sel = Selector(text='<div class="hero shout"><div class="mmm">dffdf</div><time datetime="2014-07-23 19:00">Special date</time></div>')
print(sel.css('.shout').xpath('./time/@datetime').extract())
print(sel.xpath('.//div')[1].css('.mmm').extract())

輸出:

['2014-07-23 19:00']
['<div class="mmm">dffdf</div>']
2.3item pipeline的使用

1 . item
item 類提供了一個類似dict的API ,用來提取/存儲數(shù)據(jù).也就是說你可以把它當(dāng)做dict來用.
聲明方法:

import scrapy
class Product(scrapy.Item):
            name = scrapy.Field()
            price = scrapy.Field()
            stock = scrapy.Field()
            last_updated = scrapy.Field(serializer=str)
//Field()簡單理解為初始化方法

創(chuàng)建方法:

product = Product(name='Desktop PC', price=1000)
print product
#Product(name='Desktop PC', price=1000)

值獲取:

>>> product['name']
Desktop PC
>>> product.get('name')
Desktop PC
>>> product['price']
1000
>>> product['last_updated']Traceback (most recent call last):
...
KeyError: 'last_updated'>>> product.get('last_updated', 'not set')
not set
>>> product['lala'] # getting unknown fieldTraceback (most recent call last):
...
KeyError: 'lala'
>>> product.get('lala', 'unknown field')
'unknown field'
>>> 'name' in product # is name field populated?
True
>>> 'last_updated' in product # is last_updated populated?
False
>>> 'last_updated' in product.fields # is last_updated a declared field?
True

快速賦值:

>>> product2 = Product
(product)
>>> print product2Product
(name='Desktop PC', price=1000)
>>> product3 = product2.copy()
>>> print product3Product
(name='Desktop PC', price=1000)

ItemLoaders 提供解析是快速賦值,有時間再看

2 . Item Pipeline

Pipeline類默認(rèn)方法

 def process_item(self, item, spider)
#這個方法是每一個parse函數(shù)(callback)都會調(diào)用(必須實現(xiàn)方法)
返回值是后面之中之一:包含數(shù)據(jù)的字典,Item的類,raise DropItem exception

 def open_spider(self, spider)
#爬蟲開始執(zhí)行時調(diào)用

def close_spider(self, spider)
#爬蟲結(jié)束時調(diào)用

def from_crawler(cls, crawler)
#生成這個單例類用的配置方法,必須返回一個 Crawler 實例

激活 Item Pipeline 模塊
在設(shè)置模塊中添加如下代碼:

ITEM_PIPELINES = { 'myproject.pipelines.PricePipeline': 300, 
'myproject.pipelines.JsonWriterPipeline': 800,
}
#后面的 300, 800 是調(diào)用的優(yōu)先級,范圍: 0 ~ 1000
* Scrapy如何管理Request隊列

這有一點未弄清楚,就是分析出的URLs再次加入爬取隊列的邏輯.

engine會判斷返回的數(shù)據(jù)類型(item或者是Requst)分別交給item pipline或者是Scheduler將要請求的列表 詳細(xì)看 4.Scrapy整體運行流程

3 . Request

只寫提交表單的FormRequest

import scrapy
class LoginSpider(scrapy.Spider):
          name = 'example.com'
          start_urls = ['http://www.example.com/users/login.php']
          def parse(self, response):
              return scrapy.FormRequest.from_response(response, formdata={'username': 'john', 'password': 'secret'}, callback=self.after_login)
          def after_login(self, response):
            if "authentication failed" in response.body:
                self.logger.error("Login failed")
                return
         # continue scraping with authenticated session...
4. Scrapy整體運行流程

數(shù)據(jù)流向圖:

Data_flow.png

在Scrapy中,數(shù)據(jù)流被執(zhí)行Engine控制著,運行方式如下:

  1. Engine 從Spider獲取初始化的Requests.
  2. Engine 把Requests傳遞給Scheduler ,并詢問下一個需要爬取得請求 Requests.
  3. Scheduler 返回下一個Requests 給 Engine
  4. Engine 把3中獲得的Requests通過中間件 (Downloader Middlewares先調(diào)用process_request()函數(shù))發(fā)送給Downloader.
  5. 當(dāng)頁面下載完成,Dowenloader會生成一個Response,并把這個Response通過中間件(Downloader Middlewares先調(diào)用process_response()函數(shù))發(fā)送給 Engine.
  6. Engine 獲得Dowenloader 生成的Response,然后通過中間件(Spider Middleware先調(diào)用process_spider_input()函數(shù))發(fā)送給Spider
  7. Spider 處理這個Response,然后通過中間件(Spider Middleware先調(diào)用process_spider_output()函數(shù))返回抽取生成的items和Reqeusts(網(wǎng)頁中需要爬取得連接生成的請求)
  8. Engine 發(fā)送處理過的items給Item Piplines,然后發(fā)送 7中生成的請求到Scheduler并詢問下一個需要爬取的請求.
  9. 重復(fù)步驟1 , 直到Scheduler中沒有請求
4.1 中間件

Downloader Middlewares 和Spider Middleware
中間件其實就是個Python的class文件,實現(xiàn)對應(yīng)的方法并在配置文件中聲明注冊即可

 Downloader Middlewares 中間件 : 
process_request() :如果要在爬取請求沒有開始前對請求進行處理.可選這個函數(shù)
process_response():頁面返回的數(shù)據(jù)統(tǒng)需要處理,可以選著個函數(shù).

下載中間件使用場景:

  • 需要在請求發(fā)送到Downloader之前需要處理請求
  • 需要在相應(yīng)被發(fā)送給spider之前改變的響應(yīng)的內(nèi)容
  • 靜默的丟棄一些請求
Spider Middleware 中間件:
process_spider_input() :如果需要在Spider沒有處理Response強處理響應(yīng)的話,可以調(diào)用這個函數(shù)
process_spider_output():如果需要在Spider的parse的函數(shù)解析后處理數(shù)據(jù),可以調(diào)用這個函數(shù)

Spider Middleware 中間件使用場景:

  • 處理spider的callback的返回內(nèi)容 -改變/添加/移除items或Requests
  • 處理開始請求
  • 處理spider的異常
  • call errback instead of callback for some of the requests based on response content.
激活下載中間件

在配置文件中注冊:

DOWNLOADER_MIDDLEWARES = { 'myproject.middlewares.CustomDownloaderMiddleware': 543,
}

Scrapy 中有內(nèi)建的中間件如下

{
 'scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware': 100,
 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddlewar': 300,
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware': 350,
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware': 400,
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': 500,
 'scrapy.downloadermiddlewares.retry.RetryMiddleware': 550,
 'scrapy.downloadermiddlewares.ajaxcrawl.AjaxCrawlMiddleware': 560, 
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware': 580,
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 590,
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware': 600,
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware': 700,
 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 750,
 'scrapy.downloadermiddlewares.chunked.ChunkedTransferMiddleware': 830,
 'scrapy.downloadermiddlewares.stats.DownloaderStats': 850,
 'scrapy.downloadermiddlewares.httpcache.HttpCacheMiddleware': 900,
}
后面的數(shù)字是調(diào)用順序.你注冊的中間件會按照數(shù)值合并到系統(tǒng)默認(rèn)的表中(也就是上邊的表).

自定義下載中間件需要實現(xiàn)下面的一個或多個方法:

process_request(request, spider)
每一個經(jīng)過下載中心的請求都會調(diào)用這個函數(shù):返回值 可能是None, Response, Request, 或者IgnoreRequest.

* 返回 None: Scrapy會繼續(xù)處理這個請求,知道請求結(jié)束
* 返回 Response ,Scrapy 不會調(diào)用 其他的process_request() or process_exception() 以及下載方法.直接返回 這個Response. 但是  process_response() 什么時候都會被調(diào)用
* 返回 Request ,Scrapy 將會停止調(diào)用 process_request 方法 并重新安排這個返回的請求.(這個方法未知)
* 返回 IgnoreRequest,  process_exception() 方法會被調(diào)用.如果沒有被調(diào)用,err back方法被調(diào)用. 仍然沒有,就會被忽略
process_response(request, response, spider)
 返回一個Response 對象,或一個Request 對象,或者拋出一個IgnoreRequest 異常.
返回 Response: 將會被下一個中間件鏈中的 process_response() 處理.
返回 Request : 中間件鏈將會終止,這個請求會被重新安排到下載中心.這個行為類似process_request()的返回Request.
返回 IgnoreRequest: Request.errback 函數(shù)會被調(diào)用,如果沒有處理這個異常,這個異常將會被忽略并且不會有l(wèi)og輸出(不同于其他的異常).
激活請求中間件

方法和下載中間件類似,在配置文件中注冊

SPIDER_MIDDLEWARES = { 'myproject.middlewares.CustomSpiderMiddleware': 543,
}

process_spider_input(response, spider)
每一個請求響應(yīng)在返回Spider被處理之前調(diào)用這個方法. 方法返回 None 或拋出一個異常.
返回 None : Scrapy 繼續(xù)執(zhí)行余下流程
拋出一個異常: Scrapy 將終止調(diào)用其他的 spider 中間件的 process_spider_input
方法,并調(diào)用 request errback函數(shù). 這個err back 函數(shù)返回的結(jié)果會被
process_spider_output() 函數(shù)處理,如果err back也拋出一個異常.
,則process_spider_exception()函數(shù)會被調(diào)用.

process_spider_output(response, result, spider)
這個方法會在response被spider處理后調(diào)用.
process_spider_output() 必須返回一個Request, dict or Item objects

process_spider_exception(response, exception, spider)
當(dāng) 一個spider 或者process_spider_input()(來自其他spider的中間件)  方法拋出一個異常
process_spider_exception() 應(yīng)該返回一個 None 或一個可迭代的 Response, dict 或Item objects.

返回 None :Scrapy 繼續(xù)處理這個異常.執(zhí)行余下流程中的其他的中間件process_spider_exception() 函數(shù),直到?jīng)]有中間件.最終這個異常會到達(dá)engine(將會有l(wèi)og)
返回一個可迭代的對象:  異常鏈終止

Spider Middleware 內(nèi)建中間件

{ 
'scrapy.spidermiddlewares.httperror.HttpErrorMiddleware': 50,
'scrapy.spidermiddlewares.offsite.OffsiteMiddleware': 500,
'scrapy.spidermiddlewares.referer.RefererMiddleware': 700,
'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware': 800,
'scrapy.spidermiddlewares.depth.DepthMiddleware': 900,
}
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容