遠古的時候我們學會了使用urllib來抓取一些文章或者圖片；后來到了古時候掌握了requests更方便的抓取想要的東西；現(xiàn)在我們來到的現(xiàn)代化的社會就有了重武器——Scrapy.
更多關注：http://www.mknight.cn
Scrapy是一個為了爬取網(wǎng)站數(shù)據(jù)，提取結構性數(shù)據(jù)而編寫的應用框架。 可以應用在包括數(shù)據(jù)挖掘，信息處理或存儲歷史數(shù)據(jù)等一系列的程序中。
其最初是為了頁面抓取(更確切來說,網(wǎng)絡抓取)所設計的， 也可以應用在獲取API所返回的數(shù)據(jù)(例如Amazon Associates Web Services) 或者通用的網(wǎng)絡爬蟲。
Scrapy，以前搜索python資料的時候總會無意中看到Scrapy+python的關鍵詞。后來也知道這個是專業(yè)的爬蟲工具。很多資料看起來很復雜，都無從下手。一次偶然的機會，是在閑的無聊了就學習了一下。特地將一些重要的知識點記錄下來。
安裝
pip install Scrapy
redhat/centos6.7 系統(tǒng) 安裝scrapy時，提示缺少 twisted。然后用pip install twisted也提示找不到合適版本。
requirement Twisted>=13.1.0
解決方式：手動安裝Twisted
wget https://twistedmatrix.com/Releases/Twisted/17.1/Twisted-17.1.0.tar.bz2
tar -jxvf Twisted-17.1.0.tar.bz2
cd Twisted-17.1.0
python setup.py install
初窺
創(chuàng)建項目
在學習django的時候我們都知道可以用命令來創(chuàng)建一個項目，Scrapy也一樣
#scrapy startproject ProjectName
[medivh@medivh gitlab]$ scrapy startproject zoo
New Scrapy project 'zoo', using template directory '/usr/local/python3/lib/python3.5/site-packages/scrapy/templates/project', created in:
/home/medivh/gitlab/zoo
You can start your first spider with:
cd zoo
scrapy genspider example example.com
目錄結構：
.
├── scrapy.cfg
└── zoo
├── __init__.py
├── items.py
├── middlewares.py
├── pipelines.py
├── settings.py
└── spiders
├── __init__.py
- scrapy.cfg: 項目的配置文件
- zoo/: 該項目的python模塊。之后您將在此加入代碼。
- zoo/items.py: 項目中的item文件.
- zoo/pipelines.py: 項目中的pipelines文件,持久化.
- zoo/settings.py: 項目的設置文件.
- zoo/spiders/: 放置spider代碼的目錄.
測試示例
新建爬蟲文件
在spiders 新建文件 bee.py
import scrapy
class DmozSpider(scrapy.Spider):
name = "mknight"
allowed_domains = ["ziru.com"]
start_urls = [
"http://www.mknight.cn/",
]
def parse(self, response):
filename = 'mknight.html'
with open(filename, 'wb') as f:
f.write(response.body)
啟動
# scrapy crawl appName; --nolog 不輸出日志
scrapy crawl mknight
運行后會在根目錄下生成 'mknight.html' 文件。有點python或者其他開發(fā)常識都能簡單看懂這段代碼。定義起始url開始訪問，然后打開該url并寫入文件。
優(yōu)化啟動
項目根目錄下新建start.py
from scrapy.cmdline import execute
#execute(['scrapy', 'crawl', 'bee']) #輸出日志
#execute(['scrapy', 'crawl', 'bee','--nolog']) #不輸出日志
這樣運行該文件，根據(jù)情況啟用的時候取消一個注釋就可以了。
流程
Scrapy主要包括了以下組件：
引用一位大師的話：
- Scrapy Engine: 這是引擎，負責Spiders、ItemPipeline、Downloader、Scheduler中間的通訊，信號、數(shù)據(jù)傳遞等等?。ㄏ癫幌袢说纳眢w？）
- Scheduler(調(diào)度器): 它負責接受引擎發(fā)送過來的requests請求，并按照一定的方式進行整理排列，入隊、并等待Scrapy Engine(引擎)來請求時，交給引擎。
- Downloader（下載器）：負責下載Scrapy Engine(引擎)發(fā)送的所有Requests請求，并將其獲取到的Responses交還給Scrapy Engine(引擎)，由引擎交給Spiders來處理，
- Spiders：它負責處理所有Responses,從中分析提取數(shù)據(jù)，獲取Item字段需要的數(shù)據(jù)，并將需要跟進的URL提交給引擎，再次進入Scheduler(調(diào)度器)，
- Item Pipeline：它負責處理Spiders中獲取到的Item，并進行處理，比如去重，持久化存儲（存數(shù)據(jù)庫，寫入文件，總之就是保存數(shù)據(jù)用的）
- Downloader Middlewares（下載中間件）：你可以當作是一個可以自定義擴展下載功能的組件
- Spider Middlewares（Spider中間件）：你可以理解為是一個可以自定擴展和操作引擎和Spiders中間‘通信‘的功能組件（比如進入Spiders的Responses;和從Spiders出去的Requests）
Scrapy運行流程大概如下：
程序運行的時候，
引擎：Hi！Spider, 你要處理哪一個網(wǎng)站？
Spiders：我要處理23wx.com
引擎：你把第一個需要的處理的URL給我吧。
Spiders：給你第一個URL是XXXXXXX.com
引擎：Hi！調(diào)度器，我這有request你幫我排序入隊一下。
調(diào)度器：好的，正在處理你等一下。
引擎：Hi！調(diào)度器，把你處理好的request給我，
調(diào)度器：給你，這是我處理好的request
引擎：Hi！下載器，你按照下載中間件的設置幫我下載一下這個request
下載器：好的！給你，這是下載好的東西。（如果失?。翰缓靡馑?，這個request下載失敗，然后引擎告訴調(diào)度器，這個request下載失敗了，你記錄一下，我們待會兒再下載。）
引擎：Hi！Spiders，這是下載好的東西，并且已經(jīng)按照Spider中間件處理過了，你處理一下（注意！這兒responses默認是交給def parse這個函數(shù)處理的）
Spiders：（處理完畢數(shù)據(jù)之后對于需要跟進的URL），Hi！引擎，這是我需要跟進的URL，將它的responses交給函數(shù) def xxxx(self, responses)處理。還有這是我獲取到的Item。
引擎：Hi ！Item Pipeline 我這兒有個item你幫我處理一下！調(diào)度器！這是我需要的URL你幫我處理下。然后從第四步開始循環(huán)，直到獲取到你需要的信息，
注意！只有當調(diào)度器中不存在任何request了，整個程序才會停止，（也就是說，對于下載失敗的ＵＲＬ，Scrapy會重新下載。）
參考資料:
http://www.mknight.cn/
https://doc.scrapy.org/en/latest/
http://cuiqingcai.com/3472.html
