分析網(wǎng)頁
首先打開豆瓣讀書中的分類瀏覽，可以看到其中有很多的分類
分類
豆瓣應(yīng)該是一個(gè)比較好爬的網(wǎng)站，所有的數(shù)據(jù)都不是
ajax加載的，我們打開谷歌的F12或者是火狐的FireBug可以很輕松的找到每一個(gè)分類的鏈接
url所在地
這里我們使用scrapy中的一個(gè)linkextractors庫,這個(gè)庫的作用是會根據(jù)提供的限制，自動(dòng)爬取和深入每一個(gè)頁面并且提取需要的鏈接，如果想要找到每一個(gè)分類的url,只需
Rule(LinkExtractor(allow='/tag/',restrict_xpaths="http://div[@class='article']"),follow=True),這里的allow是一個(gè)正則表達(dá)式，用來篩選分類url,restrict_xpaths是限制在哪個(gè)結(jié)構(gòu)中篩選url,這里限制的是在<div class='article'>這個(gè)盒模型中，follow表示是否深入，這里當(dāng)然是要深入,這里就能得到每一個(gè)分類url了，自己可以在回調(diào)函數(shù)中測試下，輸入所得的url,可以使用respose.url
得到所有的分類url，就可以繼續(xù)深入到每一步作品所在的頁面了，如下圖!
作品網(wǎng)頁
但是我們需要不止是這一頁，我們要爬的時(shí)全站，因此這里必須實(shí)現(xiàn)翻頁，我們可以看到頁面底部清楚的寫著下一頁，我們通過解析頁面同樣可以得到url,如下圖所示
翻頁url
可以看到所有的url的規(guī)則，我們就可以用正則表達(dá)式限制，以獲取我們的需要，我們可以寫出翻頁的代碼
Rule(LinkExtractor(allow="\?start=\d+\&type=",restrict_xpaths="http://div[@class='pa>ginator']"),follow=True),
最后一步就是打開每一部書的網(wǎng)頁得到所需的信息了，我們就可以通過這里通過解析網(wǎng)頁還是可以很清楚的知道url,這里就不再詳細(xì)的說怎么解析了，這里可以看到所有的url都在
li標(biāo)簽中，如下圖
url
我們打開li標(biāo)簽可以很清楚的看大url的規(guī)律，因此這里還是用到上面說的庫解析深入，連同上面的代碼如下
Rule(LinkExtractor(allow='/tag/',restrict_xpaths="/ /div[@class='article']"),follow=True),#第一步
Rule(LinkExtractor(allow="\?start=\d+\&type=",restrict_xpaths="http://div[@class='pa>ginator']"),follow=True), #第二步翻翻頁
Rule(LinkExtractor(allow="/subject/\d+/$",restrict_>xpaths="http://ul[@class='subject-list']"),callback='parse_item')#得到所需網(wǎng)頁的url
到了這里總算是大功告成了，下面就需要解析自己的所需要的信息了,這里附上網(wǎng)頁
圖片
下面就是寫自己解析代碼了，這里就不需要詳細(xì)的說了，詳細(xì)內(nèi)容請看源碼,值得注意的是爬取的網(wǎng)頁速度不要太快，豆瓣會禁IP的，這里可以采用一些反爬蟲措施,如請求頭的更換，ip地址的更換，下一篇會詳細(xì)解說。
參考文檔：
最后附上本人的github地址,不要忘了給個(gè)star哦
