創(chuàng)建爬蟲(chóng)項(xiàng)目

在你開(kāi)始爬取網(wǎng)站之前,你得先建立一個(gè)Scrapy項(xiàng)目。在命令行中輸入你要建立項(xiàng)目和存放代碼的路徑(cd C:/project/filepath),然后運(yùn)行:

    >Scrapy startproject tutorial

這將會(huì)建立一個(gè)tutorial項(xiàng)目,而文件樹(shù)如下圖:


  • tutoral/
    • scrapy.cfg #部署配置文件

    • tutorial/ #項(xiàng)目的Python模塊,你將會(huì)從這導(dǎo)入的的代碼模塊

      • __init__.py #初始化文件
      • items.py #定義項(xiàng)目的文件
      • pipelines.py #項(xiàng)目的管道文件
      • setting.py #項(xiàng)目設(shè)置文件
      • spider/ #存放爬蟲(chóng)的文件夾
        • __init__.py
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀(guān)點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • scrapy學(xué)習(xí)筆記(有示例版) 我的博客 scrapy學(xué)習(xí)筆記1.使用scrapy1.1創(chuàng)建工程1.2創(chuàng)建爬蟲(chóng)模...
    陳思煜閱讀 13,087評(píng)論 4 46
  • 本文希望達(dá)到以下目標(biāo): 簡(jiǎn)要介紹Scarpy 閱讀官網(wǎng)入門(mén)文檔并實(shí)現(xiàn)文檔中的范例 使用Scarpy優(yōu)豆瓣爬蟲(chóng)的抓取...
    Andrew_liu閱讀 82,377評(píng)論 30 177
  • 定義 運(yùn)用共享技術(shù)有效地支持大量細(xì)粒度對(duì)象。 相關(guān)的名稱(chēng)定義 內(nèi)部狀態(tài):可以共享的狀態(tài),不會(huì)隨著環(huán)境的變化而變化。...
    小菜_charry閱讀 397評(píng)論 0 1
  • 風(fēng)停了,夜里細(xì)雨輕輕地腳步來(lái)了,薄霧般的溶進(jìn)夢(mèng)海 浣女雙手托著優(yōu)思,滴滴水珠含在嘴里 幽深的...
    亙雷閱讀 214評(píng)論 5 22
  • 最近一次寫(xiě)頁(yè)面遇到一個(gè)問(wèn)題,如圖: ![0D$)Y6]%%)(189VO1LEFW@W.png](http://u...
    lxf_李曉鳳閱讀 1,502評(píng)論 0 0

友情鏈接更多精彩內(nèi)容