創(chuàng)建爬蟲(chóng)文件的方式
scrapy genspider -t crawl 爬蟲(chóng)文件名 域

爬蟲(chóng)文件繼承的類(lèi)CrawlSpider

rules:里面存放的是rule的對(duì)像（元組或者列表）

Rule:自定義提取規(guī)則，提取到的url，回自動(dòng)構(gòu)建request對(duì)像，
設(shè)置回調(diào)函數(shù)解析相應(yīng)結(jié)果，設(shè)置是否需要跟進(jìn)（進(jìn)一步提取url連接）
process_links：攔截rule規(guī)則提取的url，返回的是一個(gè)列表，列表存放的是link對(duì)象

LinkExtractor：是一個(gè)對(duì)象，設(shè)置提取url的規(guī)則

注意：rules中如果沒(méi)有設(shè)置callback回調(diào)，follow默認(rèn)為true
注意：一定不要去實(shí)現(xiàn)parse方法
注意：要想處理起始url的相應(yīng)結(jié)果，需要重寫(xiě)parse_start_url方法

什么時(shí)候適合使用crawlspider?
一般網(wǎng)頁(yè)結(jié)構(gòu)比較簡(jiǎn)單，頁(yè)面大多是靜態(tài)頁(yè)面