爬蟲框架scrapy總結(jié)

scrapy簡介：

scrapy是一個基于Twisted的異步處理框架，是純python實(shí)現(xiàn)的爬蟲框架，其架構(gòu)清晰，模塊之間的耦合程度低，可擴(kuò)展性極強(qiáng)?？梢造`活的完成各種需求。我們只要定制開發(fā)幾個模塊就可以輕松的實(shí)現(xiàn)一個爬蟲！

!!!擴(kuò)展:
Twisted是用Python實(shí)現(xiàn)的基于事件驅(qū)動的網(wǎng)絡(luò)引擎框架，Twisted支持許多常見的傳輸及應(yīng)用層協(xié)議，包括TCP、UDP、SSL/TLS、HTTP、IMAP、SSH、IRC以及FTP。就像Python一樣，Twisted也具有“內(nèi)置電池”（batteries-included）的特點(diǎn)。Twisted對于其支持的所有協(xié)議都帶有客戶端和服務(wù)器實(shí)現(xiàn)，同時附帶有基于命令行的工具，使得配置和部署產(chǎn)品級的Twisted應(yīng)用變得非常方便。

scrapy的架構(gòu)介紹：

engine：引擎，處理整個系統(tǒng)的數(shù)據(jù)流處理，觸發(fā)事務(wù)、是整個框架的核心。
item：項(xiàng)目，它定義了爬取結(jié)果的數(shù)據(jù)結(jié)構(gòu)，爬取的數(shù)據(jù)結(jié)構(gòu)會被賦值成Item對象
Scheduler：調(diào)度器，接受引擎發(fā)過來的請求并將其加入隊列當(dāng)中，在引擎再次請求的時候?qū)⒄埱筇峁┙o引擎
Downloader：下載器, 下載網(wǎng)頁內(nèi)容返回給蜘蛛（spiders）。
Spider（爬蟲）：它負(fù)責(zé)處理所有Responses,從中分析提取數(shù)據(jù)，獲取Item字段需要的數(shù)據(jù)，并將需要跟進(jìn)的URL提交給引擎，再次進(jìn)入Scheduler(調(diào)度器)，
Item Pipeline(管道)：它負(fù)責(zé)處理Spider中獲取到的Item，并進(jìn)行進(jìn)行后期處理（詳細(xì)分析、過濾、存儲等）的地方.
Downloader Middlewares（下載中間件）：你可以當(dāng)作是一個可以自定義擴(kuò)展下載功能的組件。
Spider Middlewares（Spider中間件）：你可以理解為是一個可以自定擴(kuò)展和操作引擎和Spider中間通信的功能組件（比如進(jìn)入Spider的Responses;和從Spider出去的Requests）

scrapy框架的使用

 #創(chuàng)建一個爬蟲項(xiàng)目
scrapy startproject 項(xiàng)目名稱
#在項(xiàng)目中創(chuàng)建爬蟲文件
scrapy genspider 爬蟲文件名稱  爬取網(wǎng)站域名
#例： scrapy genspider baidu baidu.com
5bd693ab48a5f.png

1.scrapy中的解析方法

xpath選擇器和css選擇器:

在scrapy 中我們可以直接通過response.xpath('') 和 response.css('')直接調(diào)用,并通過extract（）方法，將取到的selector對象轉(zhuǎn)換為字符串（在一個列表中）

2.scrapy shell

我們可以在終端scrapy shell http://xxxx.xxx.xxx 命令進(jìn)入到scrapy shell 模式 進(jìn)行調(diào)試

3.scrapy spider

Spider類定義了如何爬取某個(或某些)網(wǎng)站。包括了爬取的動作(例如:是否跟進(jìn)鏈接)以及如何從網(wǎng)頁的內(nèi)容中提取結(jié)構(gòu)化數(shù)據(jù)(爬取item)。 換句話說，Spider就是您定義爬取的動作及分析某個網(wǎng)頁(或者是有些網(wǎng)頁)的地方。

class scrapy.Spider是最基本的類，所有編寫的爬蟲必須繼承這個類。

主要用到的函數(shù)及調(diào)用順序?yàn)椋?init() : 初始化爬蟲名字和start_urls列表

start_requests() 調(diào)用make_requests_from url():生成Requests對象交給Scrapy下載并返回response

parse():解析response，并返回Item或Requests（需指定回調(diào)函數(shù)）。

Item傳給Item pipline(item管道)持久化 ， 而Requests交由Scrapy下載，并由指定的回調(diào)函數(shù)處理（默認(rèn)parse())，一直進(jìn)行循環(huán)，直到處理完所有的數(shù)據(jù)為止。

Scrapy Settings.py文件配置

Scrapy設(shè)置(settings)提供了定制Scrapy組件的方法?？梢钥刂瓢ê诵?core)，插件(extension)，pipeline及spider組件。比如 設(shè)置 Pipeliine、LOG_LEVEL等。

BOT_NAME：(也是項(xiàng)目名稱)。 使用 startproject 命令創(chuàng)建項(xiàng)目時會被自動賦值。
SPIDER_MODULES = ['ziruproject.spiders'] 
NEWSPIDER_MODULE = 'ziruproject.spiders'  爬蟲的文件路徑
USER_AGENT：用戶代理，一般設(shè)置這個參數(shù)用來偽裝瀏覽器請求
ROBOTSTXT_OBEY：是否遵守ROBOT協(xié)議，為False時，表示不遵守，為True時表示遵守（默認(rèn)為True）
CONCURRENT_REQUESTS：默認(rèn): 16,Scrapy downloader(下載器) 處理的最大的并發(fā)請求數(shù)量。
DOWNLOAD_DELAY：下載延遲的秒數(shù)，用來限制訪問的頻率
CONCURRENT_REQUESTS_PER_DOMAIN：每個域名下能夠被執(zhí)行的最大的并發(fā)請求數(shù)據(jù)量，默認(rèn)為８
CONCURRENT_REQUESTS_PER_IP：默認(rèn): 0，對單個IP進(jìn)行并發(fā)請求的最大值。
  1.如果非0，則忽略CONCURRENT_REQUESTS_PER_DOMAIN  設(shè)定,使用該設(shè)定。 
     也就是說，并發(fā)限制將針對IP，而不是網(wǎng)站。
  2.該設(shè)定也影響 DOWNLOAD_DELAY: 如果CONCURRENT_REQUESTS_PER_IP 非0，
    下載延遲應(yīng)用在IP而不是網(wǎng)站上。

COOKIES_ENABLED：是否要攜帶cookies，一般情況下，不是必須要攜帶cookies的請求，我們將這個參數(shù)設(shè)置為False，(默認(rèn)為True)
TELNETCONSOLE_ENABLED：默認(rèn): True表明 telnet 終端 (及其插件)是否啟用的布爾值。通過Telnet可以監(jiān)聽當(dāng)前爬蟲的狀態(tài)、信息，操作爬蟲等...。
DEFAULT_REQUEST_HEADERS：默認(rèn): 如下
        {
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
             'Accept-Language': 'en',
         }
用于Scrapy HTTP請求的默認(rèn)標(biāo)頭
EXTENSIONS：我們可以在這個參數(shù)下自定義擴(kuò)展
ITEM_PIPELINES：設(shè)置并激活管道文件，為了存儲數(shù)據(jù)使用，
后面的數(shù)字表示優(yōu)先級，數(shù)字越小，優(yōu)先級越高
DOWNLOAD_TIMEOUT：默認(rèn): 180，下載器超時時間(單位: 秒)。自動限速（AutoThrottle）擴(kuò)展，該擴(kuò)展能根據(jù)Scrapy服務(wù)器及您爬取的網(wǎng)站的負(fù)載自動限制爬取速度。

設(shè)計目標(biāo)

更友好的對待網(wǎng)站，而不使用默認(rèn)的下載延遲0。 自動調(diào)整scrapy來優(yōu)化下載速度，使得用戶不用調(diào)節(jié)下載延遲及并發(fā)請求數(shù)來找到優(yōu)化的值。 用戶只需指定允許的最大并發(fā)請求數(shù)，剩下的都交給擴(kuò)展來完成.

數(shù)據(jù)緩存：
目的：用來將已經(jīng)發(fā)送的請求緩存下來，一遍后續(xù)使用

是否啟用緩存策略
HTTPCACHE_ENABLED = True
緩存超時時間

HTTPCACHE_EXPIRATION_SECS = 0
緩存保存路徑

HTTPCACHE_DIR = 'httpcache'

緩存忽略的Http狀態(tài)碼
HTTPCACHE_IGNORE_HTTP_CODES = []
緩存存儲的插件
HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'
關(guān)于日志信息的設(shè)置
LOG_ENABLED
默認(rèn): True
是否啟用logging。
LOG_ENCODING
默認(rèn): 'utf-8'
logging使用的編碼。
LOG_LEVEL
默認(rèn): 'DEBUG'
log的最低級別?？蛇x的級別有: CRITICAL、 ERROR、WARNING、INFO、DEBUG 。

  • CRITICAL - 嚴(yán)重錯誤(critical)
  • ERROR - 一般錯誤(regular errors)
  • WARNING - 警告信息(warning messages)
  • INFO - 一般信息(informational messages)
  • DEBUG - 調(diào)試信息(debugging messages)
    LOG_FILE
    默認(rèn): None
    logging輸出的文件名。如果為None，則使用標(biāo)準(zhǔn)錯誤輸出(standard error)?！　?br> Logging使用
    Scrapy提供了log功能，可以通過 logging 模塊使用。
    可以修改配置文件settings.py，任意位置添加下面兩行，效果會清爽很多。

LOG_FILE = "TencentSpider.log"
LOG_LEVEL = "INFO"

Scrapy 的暫停和恢復(fù)

有些情況下，例如爬取大的站點(diǎn)，我們希望能暫停爬取，之后再恢復(fù)運(yùn)行。

Scrapy通過如下工具支持這個功能:

一個把調(diào)度請求保存在磁盤的調(diào)度器
一個把訪問請求保存在磁盤的副本過濾器[duplicates filter]
一個能持續(xù)保持爬蟲狀態(tài)(鍵/值對)的擴(kuò)展
Job 路徑:

要啟用持久化支持，你只需要通過 JOBDIR 設(shè)置 job directory 選項(xiàng)。
這個路徑將會存儲 所有的請求數(shù)據(jù)來保持一個單獨(dú)任務(wù)的狀態(tài)(例如：一次
spider爬取(a spider run))。必須要注意的是，這個目錄不允許被不同的
spider 共享，甚至是同一個spider的不同jobs/runs也不行。也就是說，
這個目錄就是存儲一個 單獨(dú) job的狀態(tài)信息。
怎么使用??? 要啟用一個爬蟲的持久化，運(yùn)行以下命令:

scrapy crawl somespider -s JOBDIR=crawls/somespider-1
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容