Scrapy爬蟲：果殼熱門和精彩問答信息爬取

果殼問答.jpg

一：前言

繼續(xù)練習(xí)Scrapy框架，這次抓取的果殼問答網(wǎng)站的熱門問答和精彩問答相關(guān)信息，信息如下：標(biāo)題，關(guān)注量，回答數(shù)目，簡介等。之后保存到mongodb和json文件中以備后續(xù)使用。代碼地址：https://github.com/rieuse/ScrapyStudy

二：運行環(huán)境

  • IDE：Pycharm 2017
  • Python3.6
  • pymongo 3.4.0
  • scrapy 1.3.3

三：實例分析

1.首先進(jìn)入果殼問答http://www.guokr.com/ask/ ，我這次爬取的是熱門問答和精彩問答的全部信息。

果殼

2.進(jìn)入熱門問答和精彩問答，他們的頁面結(jié)構(gòu)是一樣的。網(wǎng)址是www.guokr.com/ask/hottest 和www.guokr.com/ask/highlight 然后他們都有很多頁面，點擊下一頁后頁面地址就會加上后綴?page=數(shù)字，后面的數(shù)字就是頁面的數(shù)目，隨后我們將使用列表迭代生成我們爬取的頁面地址。

start_urls = ['http://www.guokr.com/ask/hottest/?page={}'.format(n) for n in range(1, 8)] + ['http://www.guokr.com/ask/highlight/?page={}'.format(m) for m in range(1, 101)]

3.抓取內(nèi)容：問答的關(guān)注，回答，標(biāo)題，簡介。

抓取內(nèi)容

4.網(wǎng)頁結(jié)構(gòu)分析：全部問答內(nèi)容在class="ask-list-cp"的ul下的li中，
所以對應(yīng)的xpath地址如下，問答的單個信息的xpath取值是在全部信息的基礎(chǔ)上取的。這里xpath選取比較靈活，可以使用屬性，不同的相對位置。很多方式都可以選擇到我們需要的數(shù)據(jù)，一種不成功就換其他的。比如這里的幾個div都有自己單獨的屬性，就可以利用這個去選擇。

全部信息：/html/body/div[3]/div[1]/ul[2]/li
關(guān)注：//div[@class="ask-hot-nums"]/p[1]/span/text()
回答：//div[1]/p[2]/span/text()
標(biāo)題：//div[2]/h2/a/text()
簡介：//div[2]/p/text()
鏈接：//div[2]/h2/a/@href
GIF.gif

四：實戰(zhàn)代碼

分析好頁面結(jié)構(gòu)和數(shù)據(jù)位置就可以使用scrapy框架來抓取數(shù)據(jù)了。完整代碼地址：github.com/rieuse/ScrapyStudy

1.首先使用命令行工具輸入代碼創(chuàng)建一個新的Scrapy項目，之后創(chuàng)建一個爬蟲。

scrapy startproject Guoke
cd Guoke\Guoke\spiders
scrapy genspider guoke guokr.com

2.打開Guoke文件夾中的items.py，改為以下代碼，定義我們爬取的項目。

import scrapy


class GuokeItem(scrapy.Item):
    title = scrapy.Field()
    Focus = scrapy.Field()
    answer = scrapy.Field()
    link = scrapy.Field()
    content = scrapy.Field()

3.配置middleware.py配合settings中的User_Agent設(shè)置可以在下載中隨機選擇UA有一定的反ban效果，在原有代碼基礎(chǔ)上加入下面代碼。這里的user_agent_list可以加入更多。

import random
from scrapy.downloadermiddlewares.useragent import UserAgentMiddleware


class RotateUserAgentMiddleware(UserAgentMiddleware):
    def __init__(self, user_agent=''):
        self.user_agent = user_agent

    def process_request(self, request, spider):
        ua = random.choice(self.user_agent_list)
        if ua:
            print(ua)
            request.headers.setdefault('User-Agent', ua)

    user_agent_list = [
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"
        "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",

    ]

4.明確一下目標(biāo)，這是抓取的數(shù)據(jù)保存到mongodb數(shù)據(jù)庫中和本地json文件。所以需要設(shè)置一下Pipeline

import json
import pymongo
from scrapy.conf import settings


class GuokePipeline(object):
    def __init__(self):
        self.client = pymongo.MongoClient(host=settings['MONGO_HOST'], port=settings['MONGO_PORT'])
        self.db = self.client[settings['MONGO_DB']]
        self.post = self.db[settings['MONGO_COLL']]

    def process_item(self, item, spider):
        postItem = dict(item)
        self.post.insert(postItem)
        return item


class JsonWriterPipeline(object):
    def __init__(self):
        self.file = open('guoke.json', 'w', encoding='utf-8')

    def process_item(self, item, spider):
        line = json.dumps(dict(item), ensure_ascii=False) + "\n"
        self.file.write(line)
        return item

    def spider_closed(self, spider):
        self.file.close()

5.然后設(shè)置里面也要修改一下，這樣才能啟動Pipeline相關(guān)配置，最后可以保存相關(guān)數(shù)據(jù)。

BOT_NAME = 'Guoke'
SPIDER_MODULES = ['Guoke.spiders']
NEWSPIDER_MODULE = 'Guoke.spiders'

# 配置mongodb
MONGO_HOST = "127.0.0.1"  # 主機IP
MONGO_PORT = 27017  # 端口號
MONGO_DB = "Guoke"  # 庫名
MONGO_COLL = "Guoke_info"  # collection

# pipeline文件的入口,這里進(jìn)
ITEM_PIPELINES = {
    'Guoke.pipelines.JsonWriterPipeline': 300,
    'Guoke.pipelines.GuokePipeline': 300,
 }

# 設(shè)置隨機User_Agent
DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None,
    'Guoke.middlewares.RotateUserAgentMiddleware': 400,
}

ROBOTSTXT_OBEY = False  # 不遵循網(wǎng)站的robots.txt策略
DOWNLOAD_DELAY = 1  # 下載同一個網(wǎng)站頁面前等待的時間，可以用來限制爬取速度減輕服務(wù)器壓力。
COOKIES_ENABLED = False  # 關(guān)閉cookies

6.最后就是重點了，打開spiders文件夾中的guoke.py，改為以下代碼，這個是爬蟲主程序。這里面的開始鏈接就是熱門回答和精彩回答結(jié)合。

# -*- coding: utf-8 -*-
import scrapy
from Guoke.items import GuokeItem


class GuokeSpider(scrapy.Spider):
    name = "guoke"
    allowed_domains = ["guokr.com"]
    start_urls = ['http://www.guokr.com/ask/hottest/?page={}'.format(n) for n in range(1, 8)] + [
        'http://www.guokr.com/ask/highlight/?page={}'.format(m) for m in range(1, 101)]

    def parse(self, response):
        item = GuokeItem()
        i = 0
        for content in response.xpath('/html/body/div[3]/div[1]/ul[2]/li'):
            item['title'] = content.xpath('//div[2]/h2/a/text()').extract()[i]
            item['Focus'] = content.xpath('//div[@class="ask-hot-nums"]/p[1]/span/text()').extract()[i]
            item['answer'] = content.xpath('//div[1]/p[2]/span/text()').extract()[i]
            item['link'] = content.xpath('//div[2]/h2/a/@href').extract()[i]
            item['content'] = content.xpath('//div[2]/p/text()').extract()[i]
            i += 1
            yield item

五：總結(jié)

先來看看抓取后的效果如何，mongodb我使用的可視化客戶端是robomongodb，日常打開代碼的工具是notepad++，atom，vscode都還不錯推薦一波。代碼都放在github中了，有喜歡的朋友可以點擊 start follw，https://github.com/rieuse 。
mongodb：

mongodbg

json文件：

json文件
不斷學(xué)習(xí)，繼續(xù)加油！
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容