1.scrapy概述

官方網(wǎng)站：http://scrapy.org [orginzation]
使用Python開發(fā)的主要數(shù)據(jù)采集的一個應用程序框架，核心使用它來進行爬蟲程序的快速開發(fā)，底層使用了twisted異步模塊，所以在進行數(shù)據(jù)采集下載時效率非常高！

Windows下：安裝分兩步進行

1.1 先安裝scrapy

#管理員身份運行cmd窗口
pip install scrapy
or
easy install scrapy

注意：

安裝完scrapy之后，可以正常的進行scrapy項目的開發(fā)，但是在windows上運行項目會出現(xiàn)問題，如果出現(xiàn)類似WinError這樣的問題，請安裝下面的模塊

1.2安裝win32

#需要安裝一個pypiwin32模塊，用于scrapy模塊可能調(diào)用win底層c庫進行函數(shù)操作
pip install pypiwin32

2.項目開發(fā)———創(chuàng)建scrapy項目

通過執(zhí)行如下命令，來創(chuàng)建scrapy項目

#通過scrapy命令，加上startproject選項，創(chuàng)建一個名稱為spider_name的爬蟲項目
scrapy startproject <spider_name>

在pycharm中直接運行工具中的cmd終端窗口，執(zhí)行如下命令創(chuàng)建一個爬蟲項目

scrapy startproject myspider
注意：關于終端窗口、命令窗口、shell窗口
 windows系統(tǒng)中:終端窗口、命令窗口 => cmd窗口
        win10:shell窗口：power shell   可以執(zhí)行常見的linux          
        命令。
        終端窗口:Terminal
ubantu(like linux/unix)系統(tǒng)中：終端：shell>shell 命令窗口
        Terminal > shell窗口
Mac OS:終端》shell窗口

創(chuàng)建好的項目文件結(jié)構如下：

|--myspider/ 項目根目錄
      |--scrapy.cfg 項目配置文件 [cfg:config]
      |--myspider/  爬蟲  模塊->以后的爬蟲程序開發(fā)都在這個模塊中
              |--spiders/ 爬蟲程序所在的目錄
              |--items.py   采集的數(shù)據(jù)->定義封裝模型類的模塊
              |--pipelines.py  采集的數(shù)據(jù)->采集完成之后進行數(shù)據(jù)驗證、存儲的模塊
              |--middlewares.py  中間鍵定義的模塊
              |--settings.py  項目設置模塊

3.開發(fā)爬蟲程序

（1）分析爬蟲要采集的url地址，分析采集的數(shù)據(jù)字段

[http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC&kw=%E7%88%AC%E8%99%AB&sm=0&sg=cab76822e6044ff4b4b1a907661851f9&p=1](http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC&kw=%E7%88%AC%E8%99%AB&sm=0&sg=cab76822e6044ff4b4b1a907661851f9&p=1)

[http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC&kw=%E7%88%AC%E8%99%AB&sm=0&sg=cab76822e6044ff4b4b1a907661851f9&p=2](http://sou.zhaopin.com/jobs/searchresult.ashx?jl=%E5%8C%97%E4%BA%AC&kw=%E7%88%AC%E8%99%AB&sm=0&sg=cab76822e6044ff4b4b1a907661851f9&p=2)
招聘崗位：  job
發(fā)布公司：  company
薪水待遇：  salary

(2).定義采集的字段封裝的Item類型，在items.py模塊中，定義item類

我們通過scrapy項目中的items.py模塊定義封裝采集數(shù)據(jù)字段的類型
為了能使用scrapy提供的各種內(nèi)置功能，讓定義的類型繼承自scrapy.Item類型；類型中的字段屬性通過scrapy.Field()進行定義！

import scrapy

class ZhilianItem(scrapy.Item):
    '''
    自定義封裝智聯(lián)招聘的item類型，用于封裝采集到的智聯(lián)網(wǎng)站的數(shù)據(jù)
    '''
    # 定義屬性字段
    job = scrapy.Field()
    company = scrapy.Field()
    salary = scrapy.Field()

(3) 在spiders/zhilianspider.py中開發(fā)爬蟲程序，采集初步數(shù)據(jù)

為了可以直接使用scrapy內(nèi)置的爬蟲操作，讓scrapy自動采集數(shù)據(jù)，我們需要定義一個爬蟲處理類

?   在spiders/zhilianspider.py模塊中定義ZhilianSpider類型

?   繼承自scrapy.Spider

?   類型中的屬性：name屬性~爬蟲名稱，用于在命令行啟動爬蟲時調(diào)用

?   類型中的屬性：start_urls屬性~采集數(shù)據(jù)的初始url地址[列表、元組]

?   類型中的屬性：allowed_domains屬性~采集數(shù)據(jù)的網(wǎng)站域名限制

?   類型中的方法：parse(self, response)采集完數(shù)據(jù)之后自動執(zhí)行的函數(shù)

(4) 核心：在pipelines.py模塊中，定義處理Item數(shù)據(jù)的piplelines，將數(shù)據(jù)存儲到數(shù)據(jù)庫中給其他項目做數(shù)據(jù)準備

備注：

引擎：engine->scrapy引擎模塊：engine.py
調(diào)度器：scheduler->scrapy調(diào)度模塊：scheduler.py