Scrapy Shell

Scrapy終端是一個(gè)交互終端，我們可以在未啟動(dòng)spider的情況下嘗試及調(diào)試代碼

啟動(dòng)Scrapy Shell

scrapy shell "https://hr.tencent.com/position.php?&start=0#a"

Selectors選擇器

Scrapy Selectors 內(nèi)置 XPath 和 CSS Selector 表達(dá)式機(jī)制
Selector有四個(gè)基本的方法，最常用的還是xpath:
    xpath(): 傳入xpath表達(dá)式，返回該表達(dá)式所對(duì)應(yīng)的所有節(jié)點(diǎn)的selector list列表
    extract(): 序列化該節(jié)點(diǎn)為Unicode字符串并返回list， extract_first()
    css(): 傳入CSS表達(dá)式，返回該表達(dá)式所對(duì)應(yīng)的所有節(jié)點(diǎn)的selector list列表，語(yǔ)法同 BeautifulSoup4
    re(): 根據(jù)傳入的正則表達(dá)式對(duì)數(shù)據(jù)進(jìn)行提取，返回Unicode字符串list列表
    
# 使用xpath
response.xpath('//title')

練習(xí)： Scrapy爬取新浪新聞存入數(shù)據(jù)庫(kù) http://roll.news.sina.com.cn/news/gnxw/gdxw1/index_1.shtml 

Spider類

Spider類定義了如何爬取某個(gè)(或某些)網(wǎng)站。包括了爬取的動(dòng)作(例如:是否跟進(jìn)鏈接)以及如何從網(wǎng)頁(yè)的內(nèi)容中提取結(jié)構(gòu)化數(shù)據(jù)(爬取item)。 換句話說(shuō)，Spider就是你定義爬取的動(dòng)作及分析某個(gè)網(wǎng)頁(yè)(或者是有些網(wǎng)頁(yè))的地方。

scrapy.Spider是最基本的類，所有編寫(xiě)的爬蟲(chóng)必須繼承這個(gè)類。

主要用到的函數(shù)及調(diào)用順序?yàn)椋?__init__(): 
    初始化爬蟲(chóng)名字和start_urls列表
start_requests() 
    調(diào)用make_requests_from_url():生成Requests對(duì)象交給Scrapy下載并返回response
parse(self, response):
    解析response，并返回Item或Requests（需指定回調(diào)函數(shù)）。
    Item傳給Item pipline持久化，而Requests交由Scrapy下載，并由指定的回調(diào)函數(shù)處理（默認(rèn)parse())，一直進(jìn)行循環(huán)，直到處理完所有的數(shù)據(jù)為止。

Spider類源碼參考

#所有爬蟲(chóng)的基類，用戶定義的爬蟲(chóng)必須從這個(gè)類繼承
class Spider(object_ref):
    # 定義spider名字的字符串(string)。
    # spider的名字定義了Scrapy如何定位(并初始化)spider，所以其必須是唯一的。
    # name是spider最重要的屬性，而且是必須的。
    # 一般做法是以該網(wǎng)站(domain)(不加后綴 )來(lái)命名spider。 例如，如果spider爬取 mywebsite.com ，該spider通常會(huì)被命名為 mywebsite
    name = None

    # 初始化，提取爬蟲(chóng)名字，start_urls
    def __init__(self, name=None, **kwargs):
        if name is not None:
            self.name = name
        # 如果爬蟲(chóng)沒(méi)有名字，中斷后續(xù)操作則報(bào)錯(cuò)
        elif not getattr(self, 'name', None):
            raise ValueError("%s must have a name" % type(self).__name__)

        # python 對(duì)象或類型通過(guò)內(nèi)置成員__dict__來(lái)存儲(chǔ)成員信息
        self.__dict__.update(kwargs)

        #URL列表。當(dāng)沒(méi)有指定的URL時(shí)，spider將從該列表中開(kāi)始進(jìn)行爬取。 因此，第一個(gè)被獲取到的頁(yè)面的URL將是該列表之一。 后續(xù)的URL將會(huì)從獲取到的數(shù)據(jù)中提取。
        if not hasattr(self, 'start_urls'):
            self.start_urls = []

    # 打印Scrapy執(zhí)行后的log信息
    def log(self, message, level=log.DEBUG, **kw):
        log.msg(message, spider=self, level=level, **kw)

    # 判斷對(duì)象object的屬性是否存在，不存在則斷言處理
    def set_crawler(self, crawler):
        assert not hasattr(self, '_crawler'), "Spider already bounded to %s" % crawler
        self._crawler = crawler

    @property
    def crawler(self):
        assert hasattr(self, '_crawler'), "Spider not bounded to any crawler"
        return self._crawler

    @property
    def settings(self):
        return self.crawler.settings

    #該方法將讀取start_urls內(nèi)的地址，并為每一個(gè)地址生成一個(gè)Request對(duì)象，交給Scrapy下載并返回Response
    #該方法僅調(diào)用一次
    def start_requests(self):
        for url in self.start_urls:
            yield self.make_requests_from_url(url)

    #start_requests()中調(diào)用，實(shí)際生成Request的函數(shù)。
    #Request對(duì)象默認(rèn)的回調(diào)函數(shù)為parse()，提交的方式為get
    def make_requests_from_url(self, url):
        return Request(url, dont_filter=True)

    #默認(rèn)的Request對(duì)象回調(diào)函數(shù)，處理返回的response。
    #生成Item或者Request對(duì)象。用戶必須實(shí)現(xiàn)這個(gè)
    def parse(self, response):
        raise NotImplementedError

    @classmethod
    def handles_request(cls, request):
        return url_is_from_spider(request.url, cls)

    def __str__(self):
        return "<%s %r at 0x%0x>" % (type(self).__name__, self.name, id(self))

    __repr__ = __str__

主要屬性和方法

• name

  定義spider名字的字符串。唯一

• allowed_domains

  包含了spider允許爬取的域名(domain)的列表，可選。

• start_urls

  初始URL元祖/列表。當(dāng)沒(méi)有制定特定的URL時(shí)，spider將從該列表中開(kāi)始進(jìn)行爬取。

• start_requests(self)

  該方法必須返回一個(gè)可迭代對(duì)象(iterable)。該對(duì)象包含了spider用于爬?。J(rèn)實(shí)現(xiàn)是使用 start_urls 的url）的第一個(gè)Request。

  當(dāng)spider啟動(dòng)爬取并且未指定start_urls時(shí)，該方法被調(diào)用。

• parse(self, response)

  當(dāng)請(qǐng)求url返回網(wǎng)頁(yè)沒(méi)有指定回調(diào)函數(shù)時(shí)，默認(rèn)的Request對(duì)象回調(diào)函數(shù)。用來(lái)處理網(wǎng)頁(yè)返回的response，以及生成Item或者Request對(duì)象。

• log(self, message[, level, component])

  使用 scrapy.log.msg() 方法記錄日志信息。

CrawlSpider

CrawlSpider是Spider的派生類，Spider類的設(shè)計(jì)原則是只爬取start_urls列表中的網(wǎng)頁(yè)，而CrawlSpider類定義了一些規(guī)則(rule)來(lái)提供跟進(jìn)link的方便的機(jī)制，從爬取的網(wǎng)頁(yè)中獲取link并繼續(xù)爬取的工作更適合。

CrawlSpider類源碼參考

class CrawlSpider(Spider):
    rules = ()
    def __init__(self, *a, **kw):
        super(CrawlSpider, self).__init__(*a, **kw)
        self._compile_rules()

    #首先調(diào)用parse()來(lái)處理start_urls中返回的response對(duì)象
    #parse()則將這些response對(duì)象傳遞給了_parse_response()函數(shù)處理，并設(shè)置回調(diào)函數(shù)為parse_start_url()
    #設(shè)置了跟進(jìn)標(biāo)志位True
    #parse將返回item和跟進(jìn)了的Request對(duì)象    
    def parse(self, response):
        return self._parse_response(response, self.parse_start_url, cb_kwargs={}, follow=True)

    #處理start_url中返回的response，需要重寫(xiě)
    def parse_start_url(self, response):
        return []

    def process_results(self, response, results):
        return results

    #從response中抽取符合任一用戶定義'規(guī)則'的鏈接，并構(gòu)造成Resquest對(duì)象返回
    def _requests_to_follow(self, response):
        if not isinstance(response, HtmlResponse):
            return
        seen = set()
        #抽取之內(nèi)的所有鏈接，只要通過(guò)任意一個(gè)'規(guī)則'，即表示合法
        for n, rule in enumerate(self._rules):
            links = [l for l in rule.link_extractor.extract_links(response) if l not in seen]
            #使用用戶指定的process_links處理每個(gè)連接
            if links and rule.process_links:
                links = rule.process_links(links)
            #將鏈接加入seen集合，為每個(gè)鏈接生成Request對(duì)象，并設(shè)置回調(diào)函數(shù)為_(kāi)repsonse_downloaded()
            for link in links:
                seen.add(link)
                #構(gòu)造Request對(duì)象，并將Rule規(guī)則中定義的回調(diào)函數(shù)作為這個(gè)Request對(duì)象的回調(diào)函數(shù)
                r = Request(url=link.url, callback=self._response_downloaded)
                r.meta.update(rule=n, link_text=link.text)
                #對(duì)每個(gè)Request調(diào)用process_request()函數(shù)。該函數(shù)默認(rèn)為indentify，即不做任何處理，直接返回該Request.
                yield rule.process_request(r)

    #處理通過(guò)rule提取出的連接，并返回item以及request
    def _response_downloaded(self, response):
        rule = self._rules[response.meta['rule']]
        return self._parse_response(response, rule.callback, rule.cb_kwargs, rule.follow)

    #解析response對(duì)象，會(huì)用callback解析處理他，并返回request或Item對(duì)象
    def _parse_response(self, response, callback, cb_kwargs, follow=True):
        #首先判斷是否設(shè)置了回調(diào)函數(shù)。（該回調(diào)函數(shù)可能是rule中的解析函數(shù)，也可能是 parse_start_url函數(shù)）
        #如果設(shè)置了回調(diào)函數(shù)（parse_start_url()），那么首先用parse_start_url()處理response對(duì)象，
        #然后再交給process_results處理。返回cb_res的一個(gè)列表
        if callback:
            #如果是parse調(diào)用的，則會(huì)解析成Request對(duì)象
            #如果是rule callback，則會(huì)解析成Item
            cb_res = callback(response, **cb_kwargs) or ()
            cb_res = self.process_results(response, cb_res)
            for requests_or_item in iterate_spider_output(cb_res):
                yield requests_or_item

        #如果需要跟進(jìn)，那么使用定義的Rule規(guī)則提取并返回這些Request對(duì)象
        if follow and self._follow_links:
            #返回每個(gè)Request對(duì)象
            for request_or_item in self._requests_to_follow(response):
                yield request_or_item

    def _compile_rules(self):
        def get_method(method):
            if callable(method):
                return method
            elif isinstance(method, basestring):
                return getattr(self, method, None)

        self._rules = [copy.copy(r) for r in self.rules]
        for rule in self._rules:
            rule.callback = get_method(rule.callback)
            rule.process_links = get_method(rule.process_links)
            rule.process_request = get_method(rule.process_request)

    def set_crawler(self, crawler):
        super(CrawlSpider, self).set_crawler(crawler)
        self._follow_links = crawler.settings.getbool('CRAWLSPIDER_FOLLOW_LINKS', True)

LinkExtractors

使用LinkExtractors 的目的: 提取鏈接?每個(gè)LinkExtractor有唯一的公共方法是 extract_links()，它接收一個(gè) Response 對(duì)象，并返回一個(gè) scrapy.link.Link 對(duì)象。
scrapy.linkextractors.LinkExtractor(
    allow = (),
    deny = (),
    allow_domains = (),
    deny_domains = (),
    deny_extensions = None,
    restrict_xpaths = (),
    tags = ('a','area'),
    attrs = ('href'),
    canonicalize = True,
    unique = True,
    process_value = None
)

主要參數(shù)：
    allow：滿足括號(hào)中“正則表達(dá)式”的值會(huì)被提取，如果為空，則全部匹配。
    deny：與這個(gè)正則表達(dá)式(或正則表達(dá)式列表)匹配的URL一定不提取。
    allow_domains：會(huì)被提取的鏈接的domains。
    deny_domains：一定不會(huì)被提取鏈接的domains。
    restrict_xpaths：使用xpath表達(dá)式，和allow共同作用過(guò)濾鏈接。

rules

在rules中包含一個(gè)或多個(gè)Rule對(duì)象，每個(gè)Rule對(duì)爬取網(wǎng)站的動(dòng)作定義了特定操作。如果多個(gè)rule匹配了相同的鏈接，則根據(jù)規(guī)則在本集合中被定義的順序，第一個(gè)會(huì)被使用。

scrapy.spiders.Rule(
        link_extractor, 
        callback = None, 
        cb_kwargs = None, 
        follow = None, 
        process_links = None, 
        process_request = None
)

link_extractor：是一個(gè)Link Extractor對(duì)象，用于定義需要提取的鏈接。
callback： 從link_extractor中每獲取到鏈接時(shí)，參數(shù)所指定的值作為回調(diào)函數(shù)，該回調(diào)函數(shù)接受一個(gè)response作為其第一個(gè)參數(shù)。
    注意：當(dāng)編寫(xiě)爬蟲(chóng)規(guī)則時(shí)，避免使用parse作為回調(diào)函數(shù)。由于CrawlSpider使用parse方法來(lái)實(shí)現(xiàn)其邏輯，如果覆蓋了parse方法，crawlspider將會(huì)運(yùn)行失敗。
follow：是一個(gè)布爾(boolean)值，指定了根據(jù)該規(guī)則從response提取的鏈接是否需要跟進(jìn)。 如果callback為None，follow默認(rèn)設(shè)置為T(mén)rue ，否則默認(rèn)為False。
process_links：指定該spider中哪個(gè)的函數(shù)將會(huì)被調(diào)用，從link_extractor中獲取到鏈接列表時(shí)將會(huì)調(diào)用該函數(shù)。該方法主要用來(lái)過(guò)濾。
process_request：指定該spider中哪個(gè)的函數(shù)將會(huì)被調(diào)用， 該規(guī)則提取到每個(gè)request時(shí)都會(huì)調(diào)用該函數(shù)。 (用來(lái)過(guò)濾request)

練習(xí)：爬取糗事百科翻頁(yè)爬取地址： https://www.qiushibaike.com/8hr/page/{}/

練習(xí)：抓取筆趣閣玄幻小說(shuō)

鏈接地址: https://www.biquge5200.cc/xuanhuanxiaoshuo/

要求: 爬取所有玄幻小說(shuō), 玄幻小說(shuō)名作為文件夾名(如: “牧神記”), 每個(gè)章節(jié)作為文件名(如: “第一章 天黑別出門(mén).txt”)

robots協(xié)議

Robots協(xié)議（也稱為爬蟲(chóng)協(xié)議、機(jī)器人協(xié)議等）的全稱是“網(wǎng)絡(luò)爬蟲(chóng)排除標(biāo)準(zhǔn)”（Robots Exclusion Protocol），網(wǎng)站通過(guò)Robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。robots.txt文件是一個(gè)文本文件。當(dāng)一個(gè)搜索蜘蛛訪問(wèn)一個(gè)站點(diǎn)時(shí)，它會(huì)首先檢查該站點(diǎn)根目錄下是否存在robots.txt，如果存在，搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來(lái)確定訪問(wèn)的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問(wèn)網(wǎng)站上所有沒(méi)有被口令保護(hù)的頁(yè)面。

User-agent: *  這里的*代表的所有的搜索引擎種類，*是一個(gè)通配符
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄
Disallow: /cgi-bin/*.htm 禁止訪問(wèn)/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問(wèn)網(wǎng)站中所有包含問(wèn)號(hào) (?) 的網(wǎng)址
Disallow: /.jpg$ 禁止抓取網(wǎng)頁(yè)所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
Allow: /cgi-bin/　這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個(gè)目錄
Allow: .htm$ 僅允許訪問(wèn)以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁(yè)和gif格式圖片
Sitemap: 網(wǎng)站地圖 告訴爬蟲(chóng)這個(gè)頁(yè)面是網(wǎng)站地圖

實(shí)例分析：淘寶網(wǎng)的 robots.txt文件
http://www.taobao.com/robots.txt

禁止robots協(xié)議將 ROBOTSTXT_OBEY = True改為False