scrapy中使用cmdline快捷運(yùn)行項(xiàng)目

在scrapy中,為了避免每一次運(yùn)行或調(diào)試都輸入一串命令,可以在項(xiàng)目文件下新建一個run.py文件,每次運(yùn)行爬蟲只需要運(yùn)行此腳本即可。且運(yùn)行調(diào)試模式也需要設(shè)置此啟動腳本。

from scrapy import cmdline

cmdline.execute('scrapy crawl zhihu_topic'.split())

若嫌棄scrapy日志文件太雜亂,想無日志輸出,只需在后面增加--nolog即可:

from scrapy import cmdline

cmdline.execute('scrapy crawl zhihu_topic --nolog'.split())

以上代碼只需要將我的''zhihu_topic''替換為你自己的爬蟲名就可以了。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 井岡山總體景色不錯,山高林密,地勢險要,正適合打游擊,難怪能在這里一再反圍剿。去了井岡的這兩日,印象最深的是...
    金夏小微閱讀 228評論 0 1
  • 作業(yè)1: 我不愛讀書,也不愛寫作,但是我心中始終有一顆上進(jìn)的心,渴望有一個契機(jī)能打開讀書與寫作的大門。偶然間我看...
    薄荷味_daa5閱讀 182評論 0 0
  • 中午睡覺的時候,我做了一個奇怪的夢。當(dāng)然,也不完全是夢,因?yàn)槲沂冀K溺于其中無法醒來。 我在某一個時刻驚醒,仿佛有人...
    示子小姐閱讀 797評論 5 5

友情鏈接更多精彩內(nèi)容