本文參考：
1，知乎用戶@小小造數(shù)? 鏈接：https://www.zhihu.com/question/60280580/answer/174669168
2，崔慶才的個人博客：http://cuiqingcai.com/
一、什么是Python爬蟲框架
簡單來說，Python的爬蟲框架就是一些爬蟲項目的半成品。比如我們可以將一些常見爬蟲功能的實現(xiàn)代碼寫好，然后留下一些接口，在做不同的爬蟲項目時，我們只需要根據(jù)實際情況，手寫少量需要變動的代碼部分，并按照需要調用這些接口，即可以實現(xiàn)一個爬蟲項目。（## 作者：小小造數(shù)君。鏈接：https://www.zhihu.com/question/60280580/answer/174669168 ? 來源：知乎）
框架可以幫我們處理一部分事情，比如下載模塊不用我們自己寫了，我們只需專注于提取數(shù)據(jù)就好了。
框架使用了異步的模式;可以加快我們的下載速度，而不用自己去實現(xiàn)異步框架；畢竟實現(xiàn)異步爬蟲是一件比較麻煩的事情。
二、什么是Scrapy
Scrapy是一個為了爬取網站數(shù)據(jù)，提取結構性數(shù)據(jù)而編寫的應用框架。 可以應用在包括數(shù)據(jù)挖掘，信息處理或存儲歷史數(shù)據(jù)等一系列的程序中。
其最初是為了頁面抓取 (更確切來說, 網絡抓取 )所設計的， 也可以應用在獲取API所返回的數(shù)據(jù)(例如 Amazon Associates Web Services ) 或者通用的網絡爬蟲。Scrapy用途廣泛，可以用于數(shù)據(jù)挖掘、監(jiān)測和自動化測試
三、Scrapy的架構圖：
上圖是整個Scrapy的架構圖，圖釋如下：
Scrapy Engine: 這是引擎，負責Spiders、ItemPipeline、Downloader、Scheduler中間的通訊，信號、數(shù)據(jù)傳遞等等?。ㄏ癫幌袢说纳眢w？）
Scheduler(調度器): 它負責接受引擎發(fā)送過來的requests請求，并按照一定的方式進行整理排列，入隊、并等待Scrapy Engine(引擎)來請求時，交給引擎。
Downloader（下載器）：負責下載Scrapy Engine(引擎)發(fā)送的所有Requests請求，并將其獲取到的Responses交還給Scrapy Engine(引擎)，由引擎交給Spiders來處理，
Spiders：它負責處理所有Responses,從中分析提取數(shù)據(jù)，獲取Item字段需要的數(shù)據(jù)，并將需要跟進的URL提交給引擎，再次進入Scheduler(調度器)，
Item Pipeline：它負責處理Spiders中獲取到的Item，并進行處理，比如去重，持久化存儲（存數(shù)據(jù)庫，寫入文件，總之就是保存數(shù)據(jù)用的）
Downloader Middlewares（下載中間件）：你可以當作是一個可以自定義擴展下載功能的組件
Spider Middlewares（Spider中間件）：你可以理解為是一個可以自定擴展和操作引擎和Spiders中間‘通信‘的功能組件（比如進入Spiders的Responses;和從Spiders出去的Requests）
四，數(shù)據(jù)在整個Scrapy的流向：
程序運行的時候，
引擎：Hi！Spider, 你要處理哪一個網站？
Spiders：我要處理http://23wx.com
引擎：你把第一個需要的處理的URL給我吧。
Spiders：給你第一個URL是http://XXXXXXX.com
引擎：Hi！調度器，我這有request你幫我排序入隊一下。
調度器：好的，正在處理你等一下。
引擎：Hi！調度器，把你處理好的request給我，
調度器：給你，這是我處理好的request
引擎：Hi！下載器，你按照下載中間件的設置幫我下載一下這個request
下載器：好的！給你，這是下載好的東西。（如果失敗：不好意思，這個request下載失敗，然后引擎告訴調度器，這個request下載失敗了，你記錄一下，我們待會兒再下載。）
引擎：Hi！Spiders，這是下載好的東西，并且已經按照Spider中間件處理過了，你處理一下（注意！這兒responses默認是交給def parse這個函數(shù)處理的）
Spiders：（處理完畢數(shù)據(jù)之后對于需要跟進的URL），Hi！引擎，這是我需要跟進的URL，將它的responses交給函數(shù) def xxxx(self, responses)處理。還有這是我獲取到的Item。
引擎：Hi ！Item Pipeline我這兒有個item你幫我處理一下！調度器！這是我需要的URL你幫我處理下。然后從第四步開始循環(huán)，直到獲取到你需要的信息，
注意！只有當調度器中不存在任何request了，整個程序才會停止，（也就是說，對于下載失敗的ＵＲＬ，Scrapy會重新下載。）
以上就是Scrapy整個流程了。
