啟動 MongoDB 和 Robomongo 可視化界面。

新建爬蟲項目

scrapy startproject mudao

在 scrapy.cfg 文件同級目錄中新建一個 main.py, 內(nèi)容如下:

#-*- coding:utf-8 -*-
from scrapy import cmdline
cmdline.execute("scrapy crawl mudao".split())

settings.py 中增加的額外配置如下:

ITEM_PIPELINES = {
   'mudao.pipelines.MudaoPipeline': 300,
}

MONGODB_HOST = '127.0.0.1'
MONGODB_PORT = 27017
MONGODB_DBNAME = 'Daomubiji'
MONGODB_DOCNAME = 'Book'

這樣當(dāng) spiders.py 中用到 mongodb 的一些配置時, 導(dǎo)入這個配置文件, 以 seetings['key'] 的形式訪問那些配置。

items.py 設(shè)置如下:

from scrapy import Item, Field

class MudaoItem(Item):
    bookName    = Field()
    bookTitle   = Field()
    chapterNum  = Field()
    chapterName = Field()
    chapterURL  = Field()

總共要提取網(wǎng)頁中的 5 個字段, 所以需要 5 個類變量。

pipelines.py 中的設(shè)置如下:

from mudao.items import MudaoItem
from scrapy.conf import settings
import pymongo

class MudaoPipeline(object):

    # 初始化
    def __init__(self):
        host = settings['MONGODB_HOST']
        port = settings['MONGODB_PORT']
        dbName = settings['MONGODB_DBNAME']
        client = pymongo.MongoClient()
        db = client[dbName]
        self.post = db[settings['MONGODB_DOCNAME']]

    def process_item(self, item, spider):
        bookInfo = dict(item)
        self.post.insert(bookInfo)
        return item

初始化只進(jìn)行一次, 它設(shè)置好數(shù)據(jù)庫相關(guān)的操作。得到一個對 Daomubiji 數(shù)據(jù)庫中文檔名為 Book 的引用。之后, 在 process_item 方法中, 每當(dāng)一個 item 傳遞進(jìn)來, 就將這個 item 字典化, 然后執(zhí)行 insert 插入操作, 最后返回這個 item。

spiders.py 如下:

import scrapy
from scrapy.spider import  CrawlSpider
from scrapy.http import Request
from scrapy import Selector
from mudao.items import MudaoItem

class MudaoSpider(CrawlSpider):
    name = "mudao"
    start_urls = ['http://www.daomubiji.com/']

    def parse(self, response):
        selector = Selector(response)
        # 先取大
        table = selector.xpath('//table')
        # 共 10 個 table, 有 10 本書
        for each_table in table:
            bookName = each_table.xpath('tr/td[@colspan="3"]/center/h2/text()').extract_first()
            content  = each_table.xpath('tr/td/a/text()').extract() # 一本書中所有章節(jié)的標(biāo)題
            urls     = each_table.xpath('tr/td/a/@href').extract()  # 一本書中所有章節(jié)的 url
            for i in range(len(urls)):
                item = MudaoItem()
                item['bookName'] = bookName
                item['chapterURL'] = urls[i]

                try:
                    item['bookTitle']  = content[i].split(' ')[0]
                    item['chapterNum'] = content[i].split(' ')[1]
                except Exception as e:
                    continue

                try:
                    item['chapterName'] = content[i].split(' ')[2]
                except Exception as e:
                    item['chapterName'] = content[i].split(' ')[1][-3:]

                yield  item

在 Pycharm 中運(yùn)行 main.py, 抓取完成后在可視化工具中查看, 結(jié)果如下:

result

try ... except 是為了避免解析章節(jié)標(biāo)題時, 有些章節(jié)標(biāo)題未給出的問題。