1.安裝

scrapyd? 支持以HTTP命令方式通過json API進行發(fā)布、刪除、啟動、停止爬蟲，而且可以同時管理多個爬蟲，每個爬蟲還可以有多個版本。

?兩種常用安裝方式：

??? pip install scrapyd;

? ? 從https://github.com/scrapy/scrapyd下載源碼，運行pip setup.py install命令安裝。

scrapyd-client?? 專門用來發(fā)布scrapy爬蟲的工具，安裝后會自動在python安裝目錄下scripts文件夾生成scrapyd-deploy工具，類似于python腳本，可以直接使用python scrapyd-deploy運行。

?? 安裝方式同上。

2.部署

?? 命令行輸入scrapy即可完成啟動， 默認情況下scrapyd運行后會監(jiān)聽6800端口。

?? 打開瀏覽器輸入：http://127.0.0.1:6800/，即可打開scrapd界面。

修改項目根目錄文件夾下scrapy.cfg配置文件

??? 1.取消項目url前的注釋

??? 2.修改deploy為deploy:100 ，表示把爬蟲發(fā)布到名為100的爬蟲服務(wù)器

修改如下:

[settings]

default = zhihu.settings

[deploy:100]

url =http://localhost:6800/

project =zhihu

3.命令

配置完成可以用scrapyd-deploy發(fā)布爬蟲，命令如下：

scrapyd-deploy <target> -p <project> --version <version>

如：python scrapyd-deploy 100 -p zhihu --version ver2019011

???? target : deploy后面的名稱（100）。

??? project： 自行定義，與爬蟲項目名無關(guān)。

??? version：自定義版本號，不寫則默認當前時間戳。