首先上圖：（因為工作原因，項目名需要打碼）

由于各方面原因，需要將多個爬蟲部署在一起，scrapy可以很好的解決這個問題。

接下來，開始無腦CV大法做實驗：

1:創(chuàng)建一個scrapy程序：scraps startproject MySpides

2.瘋狂創(chuàng)建項目: scrapy genspider BaiduBaidu.com?

scrapy genspider taobaotaobao.com

scrapy genspider jianshujianshu.com

… …

3.配置問題：

面對每一個爬蟲，配置也不一樣，這時候，該怎么辦？沒錯！ 看到custom_settings.py文件了嗎？就是這個，我將每個爬蟲單獨的配置放在里面了.對于settings.py我將公共配置（例如延遲，U-A等等）放在里面。

4.啟動配置：

在scrapy中提供了一個custom_settings 關鍵字，可以在爬蟲項目中使用其指向該項目的配置.

custom_settings =custom_settings_for_baidu

將這句話添加作為項目的類函數(shù)就好

5.怎么可能還有5呢？結束了！躁起來！

喜歡的話就點個贊吧！