目錄

• Scrapy架構(gòu)
• Scrapy爬蟲能解決什么問題
• Scrapy爬蟲注意事項(xiàng)
• Login問題
• xpath工具
• 保存數(shù)據(jù)到mysql
• 寫在最后

1. Scrapy架構(gòu)

具體介紹網(wǎng)頁抓取過程請(qǐng)參考Scrapy

架構(gòu)圖.png

2. Scrapy爬蟲能解決什么問題

相對(duì)于直接使用http請(qǐng)求庫(如requests), 網(wǎng)頁解析庫(如lxml)，Scrapy能夠幫助我們專心與網(wǎng)頁解析，可以并發(fā)的抓取網(wǎng)頁，而不用去處理線程、進(jìn)程以及異步請(qǐng)求等問題。

Scrapy究竟做了哪些事情：

• 根據(jù)web服務(wù)器與抓取程序的客戶端主機(jī)壓力，控制網(wǎng)頁抓取速度，可配置(如AUTOTHROTTLE_ENABLED等)
• 可抓取網(wǎng)頁的并發(fā)配置(如CONCURRENT_REQUESTS等)
• 抓取默認(rèn)遵循網(wǎng)站的robots.txt, 可配置(ROBOTSTXT_OBEY)
• 保存session，自動(dòng)處理cookie
• 能夠避免重定向陷阱
• 失敗重試，重試次數(shù)可配置
• 過濾重復(fù)請(qǐng)求
• 自動(dòng)處理網(wǎng)頁壓縮問題(如gzip壓縮)
• 自動(dòng)處理字符編碼
• 抓取的可輸出到文檔(如json, xml)或數(shù)據(jù)庫(mysql, mongodb)
• 提供Http cache功能(如HTTPCACHE_ENABLED等)
• 提供log模塊
• 等等

3. Scrapy爬蟲注意事項(xiàng)

(1)USER_AGENT

由于網(wǎng)站的限制，如果抓取時(shí)沒有配置USER_AGENT時(shí)，會(huì)不同服務(wù)端報(bào)錯(cuò)，如：

DEBUG: Crawled (403) <GET http://www.xxx.com/robots.txt> (referer: None)
DEBUG: Crawled (403) <GET http://www.xxx.com/users/{userid}> (referer: None)
INFO: Ignoring response <403 http://www.xxx.com/users/{userid}>: HTTP status code is not handled or not allowed
INFO: Closing spider (finished)

請(qǐng)配置settings.py中的USER_AGENT，或在DEFAULT_REQUEST_HEADERS中加入U(xiǎn)SER_AGENT配置

(2)DEFAULT_REQUEST_HEADERS

我們都知道網(wǎng)頁請(qǐng)求需要加上請(qǐng)求頭，不同的網(wǎng)站可能有不同的請(qǐng)求頭，在抓取網(wǎng)頁之前設(shè)置請(qǐng)求頭，如:

DEFAULT_REQUEST_HEADERS = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,/;q=0.8',
'Accept-Language': 'en',
'authorization': 'oauth c3cef7c66a1843f8b3a9e6a1e3160e20',
}

或在請(qǐng)求網(wǎng)頁時(shí)加上HEADER參數(shù)

scrapy.Request('https://www.xxx.com',meta={'cookiejar':1}, headers=headers, callback=self.parse)]

4. Login問題

如果登陸網(wǎng)站沒有驗(yàn)證碼，怎可以通過CrawlSpider或者InitSpider取抓取，在登陸頁有驗(yàn)證碼時(shí)，現(xiàn)在還不知道怎么抓取。
另外就是登陸也會(huì)涉及到_xsrf問題，將_xsrf添加到登陸參數(shù)中即可。

5. xpath工具

chrome 提供了xpath插件，可以幫助我們調(diào)試xpath。
xpath插件

效果:

6. 保存數(shù)據(jù)到mysql

class JsMysqlPipeline(object):
    def __init__(self):
        self._mysql = None

    def open_spider(self, spider):
        self._mysql = pymysql.connect(host='localhost', user='root',
                                      password='', db='crawler_js', charset='utf8')

    def close_spider(self, spider):
        self._mysql.close()

    def process_item(self, item, spider):
        insert_shops = "INSERT INTO `users` " \
                       "(`url_token`, `name`, `following_count`, `followers_count`," \
                           " `articles_count`, `words_count`, `like_count`)"

        insert_value = "VALUES ({url_token!r}, {name!r}, {following_count}," \
                       "{followers_count}, {articles_count}, {words_count}, {like_count});"\
            .format(**item)
        ddl = "\n".join([insert_shops, insert_value])

        with self._mysql.cursor() as cursor:
            # Create a new record
            cursor.execute(ddl)

            # connection is not autocommit by default. So you must commit to save
            # your changes.
            self._mysql.commit()
        return item

7. 寫在最后

源碼
關(guān)于登陸驗(yàn)證碼問題，一直沒有想到辦法解決，歡迎一起討論。