安裝
Twisted與Scrapy的安裝
twisted下載地址
python3.7.0的環(huán)境, 我這里安裝了Twisted-18.7.0-cp37-cp37m-win_amd64.whl
pip install Twisted-18.7.0-cp37-cp37m-win_amd64.whl
pip install Scrapy
創(chuàng)建項(xiàng)目
scrapy startproject spider
目錄
scrapy.cfg: 項(xiàng)目的配置文件
tutorial/: 該項(xiàng)目的python模塊。之后您將在此加入代碼。
tutorial/items.py: 項(xiàng)目中的item文件.
tutorial/pipelines.py: 項(xiàng)目中的pipelines文件.
tutorial/settings.py: 項(xiàng)目的設(shè)置文件.
tutorial/spiders/: 放置spider代碼的目錄.
創(chuàng)建測(cè)試項(xiàng)目
scrapy genspider [-t template] <name> <domain>
介紹: 這僅僅是創(chuàng)建 spider 的一種快捷方法，該方法可以使用提前定義好的模板來(lái)生成 spider, 您也可以自己創(chuàng)建spider的源碼文件。
scrapy genspider example1 hz.58.com
測(cè)試
scrapy crawl example1
報(bào)錯(cuò)
百度后的解決方案, 找到manhole.py這個(gè)文件, 修改其中的變量async為其他的變量, 例如:shark
此錯(cuò)誤解決方案參考文章
再運(yùn)行
scrapy crawl example1繼續(xù)報(bào)錯(cuò)
報(bào)錯(cuò)
安裝win32(下載和python版本對(duì)應(yīng)的)win32-py.exe
安裝之后繼續(xù)執(zhí)行
成功
