創(chuàng)建一個(gè)工程和Spider模板
我們先用命令行創(chuàng)建一個(gè)Scrapy工程：
$ scrapy startproject soudu
接著，我們進(jìn)入到工程目錄：
$ cd soudu
我們來(lái)看一下目錄結(jié)構(gòu)：
tree
# OUT:
├── soudu #外層目錄
│ ├── __init__.py #初始化腳本
│ ├── __pycache__ #Python緩存文件。暫時(shí)無(wú)視
│ ├── items.py #Items代碼模板，繼承類自scrapy.Item
│ ├── middlewares.py #Middlewares代碼模板(繼承類)
│ ├── pipelines.py #Pipelines代碼模板(繼承類)
│ ├── settings.py #Scrapy爬蟲(chóng)的配置文件
│ └── spiders #Spiders代碼模板目錄 我們寫(xiě)爬蟲(chóng)的地方
│ ├── __init__.py
│ └── __pycache__
└── scrapy.cfg #部署爬蟲(chóng)的配置文件
4 directories, 7 files
最后，我們用命令行創(chuàng)建第一個(gè)Spider：
$ scrapy genspider right www.sodu.cc
這樣我們就創(chuàng)建了一個(gè)名為right的爬蟲(chóng)了
步驟二：編寫(xiě)Spider
我們來(lái)著手定制我們的爬蟲(chóng)吧：
看一下詳細(xì)的注釋
# -*- coding: utf-8 -*-
import scrapy
# 將我們需要爬的項(xiàng)目引入進(jìn)來(lái)
from soudu.items import SouduItem
class DemoSpider(scrapy.Spider):
#該爬蟲(chóng)的名字
name = "title"
#規(guī)定爬蟲(chóng)爬取網(wǎng)頁(yè)的域名
allowed_domains = ['www.sodu.cc']
#開(kāi)始爬取的url鏈接
start_urls = ['http://www.sodu.cc/']
def parse(self, response):
'''
parse()函數(shù)接收Response參數(shù)，就是網(wǎng)頁(yè)爬取后返回的數(shù)據(jù) 用于處理響應(yīng)，
他負(fù)責(zé)解析爬取的內(nèi)容 生成解析結(jié)果的字典，并返回新的需要爬取的請(qǐng)求
'''
#由于是demo 我們不做完全的功能， #只要求爬取出第一部小說(shuō)的名字
#xpath規(guī)則可以通過(guò)查看網(wǎng)頁(yè)源文件得出，chrome右鍵檢查定位到所要爬取的內(nèi)容
name = response.xpath('//a[@onclick="getpage(this)"]/text()').extract()[0]
#建立一個(gè)items字典，用于保存我們爬到的結(jié)果，并返回給pipline處理
items = {}
items['第一部小說(shuō)名']= name
return items
步驟三：編寫(xiě)Item Pipeline
首先我們編寫(xiě)itmes.py來(lái)定義這個(gè)爬蟲(chóng)框架需要爬哪些內(nèi)容：
import scrapy
class SouduItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
name = scrapy.Field()
接著我們編寫(xiě) piplines.py來(lái)處理spider爬到的內(nèi)容:
class ZimukuPipeline(object):
def process_item(self, item, spider):
# 因?yàn)槭亲詈?jiǎn)單的，所以我們把爬到的結(jié)果打印一下
print(item)
return item
步驟四：優(yōu)化配置Settings.py
BOT_NAME = 'soudu'
SPIDER_MODULES = ['soudu.spiders']
NEWSPIDER_MODULE = 'soudu.spiders'
# Obey robots.txt rules
ROBOTSTXT_OBEY = True
#只增加了這一行，通過(guò)配置告訴Scrapy明白是誰(shuí)來(lái)處理結(jié)果
ITEM_PIPELINES = {
'soudu.pipelines.SouduPipeline': 300,
}
首先我們通過(guò)命令來(lái)執(zhí)行爬蟲(chóng)：
$ scrapy crawl title
我只截取部分我們需要的內(nèi)容:
2018-08-03 19:31:53 [scrapy.core.scraper] DEBUG: Scraped from <200 http://www.sodu.cc/>
{'第一部小說(shuō)名': '圣墟'}
