記錄使用 PyCharm 創(chuàng)建 Scrapy 項目過程。

使用 PyCharm 創(chuàng)建一個干凈的 Python 工程

使用 env 環(huán)境

Screen Shot 2019-01-15 at 9.55.59 AM.png

安裝 Scrapy

打開 PyCharm 設(shè)置，安裝 Scrapy。

Screen Shot 2019-01-15 at 9.41.06 AM.png

創(chuàng)建 Scrapy 工程

打開 PyCharm 命令行工具

# 后退一步，減少目錄層級
cd  ..

# [Demo2] 必須和工程文件名相同
scrapy startproject Demo2

cd Demo2

# 使用模版創(chuàng)建一個爬蟲
scrapy genspider example example.com

配置運行

創(chuàng)建 start_scrapy.py

from scrapy import cmdline
cmdline.execute('scrapy crawl example'.split())

20190115102042.png

測試

修改 Demo2/spiders/example.py:

# -*- coding: utf-8 -*-
import scrapy

class ExampleSpider(scrapy.Spider):
    name = 'example'
    allowed_domains = ['baidu.com']
    start_urls = ['http://baidu.com/']

    def parse(self, response):
        print(response.body)

爬 baidu.com 還需要修改設(shè)置 settings.py ROBOTSTXT_OBEY = False

運行后：

20190115102211.png

其他問題

Forbidden by robots.txt

修改 settings.py:

# Obey robots.txt rules
ROBOTSTXT_OBEY = False

參考：http://www.itdecent.cn/p/eda047ac5c89