作業(yè)思路
這次只爬取了一個經(jīng)濟學(xué)這個標簽下的所有書
思路和之前的差不多，不過有一點區(qū)別的就是分頁的url以及豆瓣的反爬策略
分頁URL
https://book.douban.com/tag/%E7%BB%8F%E6%B5%8E%E5%AD%A6?start=20&type=T
這個20代表第二頁，也代表這一頁有多少本書，那么有多少頁呢？
在上面所列的最后一頁
所以，就手動的根據(jù)二分法的思維找了一下，發(fā)現(xiàn)一共有49頁
豆瓣反爬策略
本次爬取中，一共試用了之前所列的三種策略
不作任何反反爬
沒有做任何的偽裝，用scrapy框架，一會就被禁止了
隨機UA和下載延遲
這個策略順利地爬下了所有的數(shù)據(jù)，這次爬取設(shè)置的延遲是3秒，關(guān)于設(shè)置幾秒最佳，這個還沒有測試
代理IP
不知道是因為所選用的代理IP太差了還是豆瓣已經(jīng)檢測出是代理IP的原因，始終會出現(xiàn)計算機積極拒絕，所以這個方式還是不太可行。
作業(yè)結(jié)果
作業(yè)結(jié)果
作業(yè)代碼
這次所選用的依舊是scrapy框架并保存在mysql中，因為想要爬取一下這本書的標簽，所以是兩層深度。
作業(yè)代碼和之前的差不多，就不上了哈
