使用Scrapy框架爬蟲的幾條重要的命令

創(chuàng)建項(xiàng)目：scrapy startproject xxx

?進(jìn)入項(xiàng)目：cd xxx

?基本爬蟲：scrapy genspider xxx（爬蟲名） xxx.com （爬取域）

?還有一條是規(guī)則爬蟲的命令，只是這條有變化，前倆條不變

?規(guī)則爬蟲：scrapy genspider? -t? crawl? xxx（爬蟲名） xxx.com （爬取域）

?運(yùn)行命令：scrapy crawl xxx -

開發(fā)Scrapy爬蟲的步驟~

創(chuàng)建項(xiàng)目：scrapy startproject xxx（項(xiàng)目名字，不區(qū)分大小寫）

? 明確目標(biāo) （編寫items.py）：明確你想要抓取的目標(biāo)

? 制作爬蟲 （spiders/xxspider.py）：制作爬蟲開始爬取網(wǎng)頁

? 存儲(chǔ)內(nèi)容 （pipelines.py）：設(shè)計(jì)管道存儲(chǔ)爬取內(nèi)容

? 啟動(dòng)程序的py文件（start.py）：等同于此命令（scrapy crawl xxx -o xxx.json）