在你開(kāi)始爬取網(wǎng)站之前,你得先建立一個(gè)Scrapy項(xiàng)目。在命令行中輸入你要建立項(xiàng)目和存放代碼的路徑(cd C:/project/filepath),然后運(yùn)行:
>Scrapy startproject tutorial
這將會(huì)建立一個(gè)tutorial項(xiàng)目,而文件樹(shù)如下圖:
-
tutoral/
scrapy.cfg #部署配置文件
-
tutorial/ #項(xiàng)目的Python模塊,你將會(huì)從這導(dǎo)入的的代碼模塊
- __init__.py #初始化文件
- items.py #定義項(xiàng)目的文件
- pipelines.py #項(xiàng)目的管道文件
- setting.py #項(xiàng)目設(shè)置文件
-
spider/ #存放爬蟲(chóng)的文件夾
- __init__.py