1.創(chuàng)建一個(gè)新的Scrapy項(xiàng)目。

創(chuàng)建項(xiàng)目
scrapy startproject 爬蟲項(xiàng)目名稱   

制作爬蟲
scrapy genspider 爬蟲文件名稱 
域名:制作爬蟲開始爬取網(wǎng)頁

明確目標(biāo)
編寫[items.py]：明確你想要抓取的目標(biāo)

2.到創(chuàng)建的爬蟲文件里面(提取目標(biāo)數(shù)據(jù)和url,以及域名)

# 爬蟲文件
class ZzwSpider(scrapy.Spider):
    # 爬蟲文件名稱
    name = 'zzw'
    # allowed_domains:設(shè)置域(可以指定多個(gè))
    allowed_domains = ['chinaz.com']
    # 設(shè)置起始的url(可以指定多個(gè))
    start_urls = ['http://top.chinaz.com/']

3.到items.py里面編寫要爬取的字段

#標(biāo)題
title = scrapy.Field()
#創(chuàng)建時(shí)間
create_date = scrapy.Field()

4.再到setting.py里面配置文件(設(shè)置請(qǐng)求頭,下載延時(shí),是否遵守robot協(xié)議,激活管道文件)

# 默認(rèn)為True,需要我們手動(dòng)改為False
ROBOTSTXT_OBEY = False

# 默認(rèn)請(qǐng)求頭
DEFAULT_REQUEST_HEADERS = {
#   'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
#   'Accept-Language': 'en',
    'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36',
}

# 在這里進(jìn)行管道文件的激活,管道文件后面跟的數(shù)字,表示優(yōu)先級(jí),數(shù)字越小,優(yōu)先級(jí)越高
ITEM_PIPELINES = {
    'chinaz.pipelines.ChinazPipeline': 300,
}

兩種類型根據(jù)需求選擇
1.mongodb數(shù)據(jù)庫相關(guān)配置
MONGO_HOST = '127.0.0.1'
MONGO_POST = '27017'
MONGO_DB = 'chinaz1805'

2.關(guān)于mysql的一些配置信息
MYSQL_HOST = '127.0.0.1'
MYSQL_USER = 'root'
MYSQL_PWD = 'xiaoming'
MYSQL_DB = 'chinaz1805'
MYSQL_CHARSET = 'utf8'

5.pipelines.py:數(shù)據(jù)管道(在這里做數(shù)據(jù)的過濾和持久化)