學(xué)著用一下框架,參考了小白進(jìn)階之Scrapy第一篇(這篇文章寫的很詳細(xì)),采集頂點(diǎn)小說

• 首先在item里定義字段

    name = scrapy.Field()  # 小說的名字
    author = scrapy.Field()  # 小說的作者
    novelurl = scrapy.Field()  # 小說地址
    status = scrapy.Field()  # 狀態(tài)
    number = scrapy.Field()  # 連載字?jǐn)?shù)
    category = scrapy.Field()  # 文章類別
    name_id = scrapy.Field()  # 小說編號

• 創(chuàng)建dingdian.py導(dǎo)入需要的模塊

import scrapy
import re
from dingdian.items import DingdianItem
from scrapy.http import Request
from bs4 import BeautifulSoup

• 根據(jù)不同分類的小說作為入口url,觀察特征,編寫start_urls列表

class DingdianSpider(scrapy.Spider):

    name = 'dingdian'  # 項(xiàng)目名稱,必須是唯一的
    allowed_domains = ['23us.com']  # 域名
    start_urls = []  # 構(gòu)建各個類型首頁url的列表
    for i in range(1, 11):
        url = 'http://www.23us.com/class/%d_1.html' % i
        start_urls.append(url)

• 編寫parse函數(shù)解析response構(gòu)建出所有頁面的url

    def parse(self, response):
        '''
        解析每一個類型的首頁url并返回這個類型的所有頁面url
        :param response: 
        :return: 
        '''
        pattern = '>1/(\d+)<'
        html = response.text
        max_num = re.findall(pattern, html)[0]  # 構(gòu)建re獲取各個類型的最大頁面數(shù)
        prefix_url = str(response.url)[0:28]
        for num in range(1, int(max_num)+1):
            url = prefix_url + str(num) + '.html'  # 構(gòu)建每一頁的完整url
            yield Request(url, callback=self.get_url)
            # 將頁面的response交給get_url()函數(shù)處理

首先是根據(jù)正則表達(dá)式獲取最大頁碼值,然后拼接處完整的url,并將response傳遞給下一個函數(shù).

• 寫一個get_url()函數(shù)獲取每一頁小說簡介的url,跟原博思路不太一樣的是我先找到小說的簡介的url再去簡介里面獲取需要的信息,因?yàn)槲野l(fā)現(xiàn)簡介里面有需要的所有信息,很詳細(xì).

  
  
  簡介.png

    def get_url(self, response):
        '''
        根據(jù)每個頁面的url找到這個頁面中所有書籍的簡介url
        :param response: 
        :return: 
        '''
        # pattern1 = 'title="(.*?)簡介"'  # name的正則表達(dá)式(偷懶用re)
        pattern2 = 'a href="(.*?)" title='  # 構(gòu)造簡介的url的正則表達(dá)式
        html = response.text
        # names = re.findall(pattern1, html)
        urls = re.findall(pattern2, html)
        for u in urls:
            yield Request(u, callback=self.get_all)  # 將簡介的url交給get_all處理

本來打算在這個函數(shù)提取出小說名,根據(jù)title=這個規(guī)律,但發(fā)現(xiàn)不好傳遞給下一個函數(shù),就只提取一個簡介的url好了,下一個函數(shù)再把所有需要的提取出來.

2017-05-02 獲取name正則.png

• 最后就是get_all(),提取我們需要的所有吧.

    def get_all(self, response):
        '''
        處理頁面,匹配各項(xiàng)內(nèi)容并返回item字典
        :param response: 
        :return: 
        '''
        item = DingdianItem()
        html = response.text
        name = BeautifulSoup(html, 'lxml').find('h1').get_text().split()[0]
        novelurl = BeautifulSoup(html, 'lxml').find('a', class_='read')['href']
        bs_table = BeautifulSoup(html, 'lxml').find('table')
        author = bs_table.find_all('td')[1].get_text().split()[0]
        status = bs_table.find_all('td')[2].get_text().split()[0]
        number = bs_table.find_all('td')[4].get_text().split()[0][:-1]
        category = bs_table.find_all('td')[0].get_text().split()[0]
        name_id = re.findall('down/(\d+)', html)[0]
        item['name'] = name
        item['author'] = author
        item['novelurl'] = novelurl
        item['status'] = status
        item['number'] = number
        item['category'] = category
        item['name_id'] = name_id
        return item

都是一些簡單的提取代碼,沒什么好解釋的.Spider就寫完了.

• 定義pipeline存入MySQL,剛看了下MySQL語法,這段基本上是copy了原博的代碼,修改settings

• 昨晚run了一下,40秒存入3500多條數(shù)據(jù),大概是120個頁面,就心滿意足的上床睡覺了.

  
  
  
  

• 今天早上起來想著把數(shù)據(jù)全爬下來(8點(diǎn)多看小說的人應(yīng)該睡著了吧,這個時候服務(wù)器訪問量沒那么大,減輕服務(wù)器壓力).

  
  
  
  

  洗臉?biāo)㈨摶貋戆l(fā)現(xiàn)好多重定向,數(shù)據(jù)總共只有5000多條,還不如40秒勒.在settings里禁止了重定向數(shù)據(jù)也沒有多起來.

• 頂點(diǎn)就先這樣吧,總結(jié)一下,頁面比較簡單,都是靜態(tài)沒有Ajax,好像也沒有限制ip訪問頻率,這個重定向?qū)ξ襾碚f拎不清.還有一些想法沒精力和能力實(shí)現(xiàn)的:能不能把url放進(jìn)set去重代替MySQL判斷,怎么提高速率(多進(jìn)程?).源碼
• 以前覺得把過程記錄下來好占時間,但自己看了別人的優(yōu)秀博客學(xué)到了很多,也應(yīng)該多記錄,留下點(diǎn)什么作為傳承(雖然自己水了點(diǎn),莫欺少年窮),也方便自己回顧,再理一遍.