Python爬蟲框架Scrapy學習筆記

scrapy.png

本文主要內容針對Scrapy有初步了解的同學。結合作者的實際項目中遇到的一些問題，匯成本文。
之后會寫一些具體的爬蟲demo, 放到 https://github.com/hanguangchao/scrapy_awesome
鑒于作者接觸爬蟲不久，水平有限，文章難免出現(xiàn)紕漏，還請各位達人留言指導。

內容提要

Scrapy問題記錄

Scrapy問題示例代碼

Scrapy常用代碼片段

Scrapy常用設置

Scrapy參考資料

安裝

pip install scrapy

使用

  • 創(chuàng)建一個爬蟲項目
# 終端執(zhí)行以下命令，創(chuàng)建一個爬蟲
scrapy startproject myspider

# 運行第一個爬蟲
# myspider/myspider/spiders/myspider.py中定義爬蟲 spider1
cd myspider 
scrapy crawl spider1
  • scrapy shell 工具

可以利用scrapy shell 分析網(wǎng)頁

通過sel.xpath() 返回一個Selector， 可以判斷頁面結構是否存在。

scrapy shell http://news.163.com/

sel.xpath('h1').extract()

使用中遇到的一些問題

  • 一個爬蟲項目中，是否支持多個Item？
  • 在一個頁面抓取多個Item？不同的Item如何存儲？
  • 爬蟲進入下一級網(wǎng)頁？
  • 在爬蟲中攜帶自定義數(shù)據(jù)？
  • 重復抓取一個頁面的方法？
  • 分別指定每個爬蟲的設置？
  • 防止爬蟲被ban？

針對以上問題，下面給出具體的代碼示例

  • 定義可以定義多個Item
# myspider/items.py

import scrapy

class Item1(scrapy.Item):
    url = scrapy.Field()
    name = scrapy.Field()

class Item2(scrapy.Item):
    url = scrapy.Field()
    job_id = scrapy.Field()
    job_title = scrapy.Field()
  • 具體的爬蟲腳本

# myspider/spiders/myspider.py

class Spider1(CrawlSpider):
    # 爬蟲的名字
    name = "spider1"
    
    # 要抓取的網(wǎng)頁限制
    allowed_domains = ["mysite.com"]
    
    # 指定開始抓取的url
    start_urls = [
        "http://mysite.com/",
        "http://mysite2.com/",
    ]
    
    # parse方法為抓取入口
    # 抓取 start_urls 中的網(wǎng)址
    def parse(self, response):
        sel = Selector(response)
        
        # 在一個頁面抓取多個Item
        # 在分析網(wǎng)頁過程中，通過 yield item ,可以生成多個item
        item = new Item1()
        item['url'] = response.url
        item['name'] = sel.xpath('').extract()
        yield item
        
        item2 = new Item2()
        item2['url'] = response.url
        item2['job_id'] = sel.xpath('//h2[1]/a/@href').extract()
        item2['job_title'] = sel.xpath('//div[@class="box"]/a/text()').extract()

        # 如何使爬蟲進入下一級網(wǎng)頁？
        # 使用 yield Request()方法
        yield Request(url, callback=self.parse1)
        
        # 在爬蟲中攜帶自定義數(shù)據(jù)
        # 添加meta參數(shù)
        yield Request(url, 
            meta={'referer' : url, 'job_id': item2['job_id']},
            callback=self.parse2)
        
        # 重復抓取一個頁面的方法
        # scrapy默認會過濾重復網(wǎng)頁，發(fā)起Request添加dont_filter=True，則可以重復請求
        # 使用的時候要注意， 不要進入死循環(huán)
        if some_condition:
            yield Request(url, callback=self.parse, dont_filter=True)
        
    def parse1(self, response):
        sel = Selector(response)
      
    def parse2(self, response):
        sel = Selector(response)
        # 使用 response.meta 來訪問
        print response.meta['job_id']
  • 接第一個問題，多個Item，如何存儲？
# 在pipelines中的腳本示例
# myspider/pipelines.py
class MyPipeline(object):
    def __init__(self):
        print("MyPipeline init")

    def open_spider(self, spider):
        print("Pipeline opend")

    def close_spider(self, spider):
        print("MyPipeline closed")
        
    def process_item(self, item, spider):
        print 'process_item'
        if isinstance(item, Item1):
            # item1的存儲邏輯
            print item
        if isinstance(item, Item2):
            # item2的存儲邏輯
            print item  
            
# myspider/settings.py
# 使用MyPipeline分析Item

ITEM_PIPELINES = {
       'myspider.pipelines. MyPipeline': 300,
}
  • Spider 自定義設置

使用custom_settings 該設置是一個dict.當啟動spider時,該設置將會覆蓋項目級的設置. 由于設置必須在初始化(instantiation)前被更新,所以該屬性 必須定義為class屬性

# myspider/spiders/spider3.py
class Spider3(CrawlerSpider):
    name = "spider3"

    custom_settings = {
        "DOWNLOAD_DELAY": 5.0,
        "RETRY_ENABLED": False,
        "LOG_LEVEL" : 'DEBUG',

        "DOWNLOADER_MIDDLEWARES" : {
        
        }
        
        "ITEM_PIPELINES" : {
    
        }
    }

防止爬蟲被ban

  • 使用user agent池
  • 使用IP池
  • 禁止Cookie
  • 增加下載延遲
  • 分布式爬蟲
  • 一些常見設置
# settings.py
# 繞過robots策略
ROBOTSTXT_OBEY = False
# 禁用Cookie
COOKIES_ENABLED = False
# 限制爬取速度
DOWNLOAD_DELAY = 5
# 禁止重定向
REDIRECT_ENABLED = False
# 全局并發(fā)數(shù)
CONCURRENT_REQUESTS = 500
# 禁止重試
RETRY_ENABLED = False
# 減小下載超時
DOWNLOAD_TIMEOUT = 15

常用的Middleware

  • 使用代理IP

from proxy import PROXIES, FREE_PROXIES

class CustomHttpProxyMiddleware(object):

    def process_request(self, request, spider):
        if self.use_proxy(request):
            p = random.choice(FREE_PROXIES)
            try:
                request.meta['proxy'] = "http://%s" % p['ip_port']
            except Exception, e:
                #log.msg("Exception %s" % e, _level=log.CRITICAL)
                log.critical("Exception %s" % e)
  • 隨機Agent
from agents import AGENTS
class CustomUserAgentMiddleware(object):
    def process_request(self, request, spider):
        agent = random.choice(AGENTS)
        request.headers['User-Agent'] = agent
  • 使用PhantomJS 抓取JS網(wǎng)頁
from selenium import webdriver
from scrapy.http import HtmlResponse
import time

class CustomJavaScriptMiddleware(object):
    def process_request(self, request, spider):
        print "PhantomJS is starting..."
        driver = webdriver.PhantomJS() #指定使用的瀏覽器
        driver.get(request.url)
        time.sleep(1)
        js = "var q=document.documentElement.scrollTop=10000" 
        driver.execute_script(js) #可執(zhí)行js，模仿用戶操作。此處為將頁面拉至最底端。       
        time.sleep(1)
        body = driver.page_source
        print ("訪問"+request.url)
        return HtmlResponse(driver.current_url, body=body, encoding='utf-8', request=request)

常用的Pipeline

過濾重復的Item

#pipelines.py
from scrapy.exceptions import DropItem

class DuplicatesPipeline(object):

    def __init__(self):
        self.ids_seen = set()

    def process_item(self, item, spider):
        if item['id'] in self.ids_seen:
            raise DropItem("Duplicate item found: %s" % item)
        else:
            self.ids_seen.add(item['id'])
            return item

#settings.py

ITEM_PIPELINES = {
    'mySpider.pipelines. DuplicatesPipeline': 301,
}

把Item存儲到MySQL的Pipeline


from twisted.enterprise import adbapi
import datetime
import MySQLdb.cursors

class SQLStorePipeline(object):

    def __init__(self):
        self.dbpool = adbapi.ConnectionPool('MySQLdb',
            host='127.0.0.1',
            db='webspider',
            user='mysql',
            passwd='secret',
            cursorclass=MySQLdb.cursors.DictCursor,
            charset='utf8',
            use_unicode=True
            )
        print("SQLStorePipeline init")
    def close_spider(self, spider):
        print("SQLStorePipeline closed")

    def open_spider(self, spider):
        print("SQLStorePipeline opend")

    def process_item(self, item, spider):
        if isinstance(item, myItem):
            query = self.dbpool.runInteraction(self._conditional_insert, item)
            query.addErrback(self._database_error, item)
            return item

    def _conditional_insert(self, tx, item):
        try:
            tx.execute(sql)
        except Exception, e:
            print e
       
    def _database_error(self, e, item):
        print "Database error: ", e

把Item保存到JSON文件

import json
import codecs
from collections import OrderedDict


class JsonWithEncodingPipeline(object):
    def __init__(self):
        self.file = codecs.open('data_utf8.json', 'w', encoding='utf-8')

    def process_item(self, item, spider):
        line = json.dumps(OrderedDict(item), ensure_ascii=False, sort_keys=True) + "\n"
        self.file.write(line)
        return item

    def close_spider(self, spider):
        print("JsonWithEncodingPipeline closed")
        self.file.close()

    def open_spider(self, spider):
        print("JsonWithEncodingPipeline opend")
        
              
# @todo 把Item保存到Redis 
class RedisStorePipeline(object):
    pass

# @todo 把Item保存到MongoDB
class MongodbStorePipeline(object):
    pass

參考資料

最后編輯于 ：
?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成，瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發(fā)布，文章內容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

相關閱讀更多精彩內容

  • scrapy學習筆記(有示例版） 我的博客 scrapy學習筆記1.使用scrapy1.1創(chuàng)建工程1.2創(chuàng)建爬蟲模...
    陳思煜閱讀 13,077評論 4贊 46
  • scrapy是python最有名的爬蟲框架之一，可以很方便的進行web抓取，并且提供了很強的定制型，這里記錄簡單學...
    bomo閱讀 2,323評論 1贊 11
  • 本文希望達到以下目標: 簡要介紹Scarpy 閱讀官網(wǎng)入門文檔并實現(xiàn)文檔中的范例 使用Scarpy優(yōu)豆瓣爬蟲的抓取...
    Andrew_liu閱讀 82,366評論 30贊 177
  • Python版本管理：pyenv和pyenv-virtualenvScrapy爬蟲入門教程一 安裝和基本使用Scr...
    inke閱讀 35,850評論 7贊 93

友情鏈接更多精彩內容