在scrapy中,為了避免每一次運(yùn)行或調(diào)試都輸入一串命令,可以在項(xiàng)目文件下新建一個run.py文件,每次運(yùn)行爬蟲只需要運(yùn)行此腳本即可。且運(yùn)行調(diào)試模式也需要設(shè)置此啟動腳本。
from scrapy import cmdline
cmdline.execute('scrapy crawl zhihu_topic'.split())
若嫌棄scrapy日志文件太雜亂,想無日志輸出,只需在后面增加--nolog即可:
from scrapy import cmdline
cmdline.execute('scrapy crawl zhihu_topic --nolog'.split())
以上代碼只需要將我的''zhihu_topic''替換為你自己的爬蟲名就可以了。