Scrapy數(shù)據(jù)流是由執(zhí)行的核心引擎(engine)控制，流程是這樣的：
1、爬蟲(chóng)引擎ENGINE獲得初始請(qǐng)求開(kāi)始抓取。
2、爬蟲(chóng)引擎ENGINE開(kāi)始請(qǐng)求調(diào)度程序SCHEDULER，并準(zhǔn)備對(duì)下一次的請(qǐng)求進(jìn)行抓取。
3、爬蟲(chóng)調(diào)度器返回下一個(gè)請(qǐng)求給爬蟲(chóng)引擎。
4、引擎請(qǐng)求發(fā)送到下載器DOWNLOADER，通過(guò)下載中間件下載網(wǎng)絡(luò)數(shù)據(jù)。
5、一旦下載器完成頁(yè)面下載，將下載結(jié)果返回給爬蟲(chóng)引擎ENGINE。
6、爬蟲(chóng)引擎ENGINE將下載器DOWNLOADER的響應(yīng)通過(guò)中間件MIDDLEWARES返回給爬蟲(chóng)SPIDERS進(jìn)行處理。
7、爬蟲(chóng)SPIDERS處理響應(yīng)，并通過(guò)中間件MIDDLEWARES返回處理后的items，以及新的請(qǐng)求給引擎。
8、引擎發(fā)送處理后的items到項(xiàng)目管道，然后把處理結(jié)果返回給調(diào)度器SCHEDULER，調(diào)度器計(jì)劃處理下一個(gè)請(qǐng)求抓取。
9、重復(fù)該過(guò)程（繼續(xù)步驟1），直到爬取完所有的url請(qǐng)求。