這次爬蟲作業(yè)在端午的時候就想著手進行的，犯拖延癥一直沒在簡書上更新，最近的學(xué)習(xí)也稍微有點懈怠，一方面是放假的緣故，另一方面跟自身工作時間沒能安排出時間進行學(xué)習(xí)，看書看博客都是碎片化的學(xué)習(xí)，今天兒童節(jié)，及時交作業(yè)。
這次爬蟲的作業(yè)學(xué)習(xí)：

• MongoDB的一些操作
• 對JS頁面的頁面處理
• MongoDB Plugin在Pycharm中的使用

查找爬蟲入口

首頁

天氣預(yù)報

40天預(yù)報

構(gòu)造URL

老規(guī)矩chrom 開發(fā)者工具 按F12 CTRL+R 查看頁面加載，這邊需要注意的是Requests headers里的Referer這個參數(shù)，直接訪問，如果不加的話會返回403Forbidden

image.png

image.png

image.png

通過多次頁面點擊發(fā)現(xiàn)是JS頁面加載
基本URL：

#例子：
http://d1.weather.com.cn/calendar_new/2017/101210101_201706.html?_=1496299957582
#精簡：
http://d1.weather.com.cn/calendar_new/{1}/101210101_2017{2}.html.format(str(year),str(month))

解析返回數(shù)據(jù)

image.png

返回的數(shù)據(jù)格式不是json格式，是類似json的字典列表字符串，需要做字符串切片處理、序列化之后重構(gòu)字典，最后插入MongoDB

代碼

# -*- coding:utf-8 -*-

import sys
import json
import requests
import pymongo
from pymongo import MongoClient
reload(sys)
sys.path.append('..')
sys.setdefaultencoding('utf-8')

class chinaweather(object):

    def __init__(self):
        headers = {
                    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36',
                    'Accept':'*/*',
                    'Accept-Encoding':'gzip, deflate, sdch',
                    'Accept-Language':'zh-CN,zh;q=0.8',
                    'Connection':'keep-alive',
                    'Host':'d1.weather.com.cn',
                    'Referer':'http://www.weather.com.cn/weather40d/101210101.shtml',
                    'Cookie': 'vjuids=-35cf735ec.15c3a674e60.0.ea0c2b4b0db22; f_city=%E5%8C%97%E4%BA%AC%7C101010100%7C; BIGipServerd1src_pool=1874396221.20480.0000; Hm_lvt_080dabacb001ad3dc8b9b9049b36d43b=1495628468,1495628495,1495642584; Hm_lpvt_080dabacb001ad3dc8b9b9049b36d43b=1495642621; vjlast=1495628468.1495642583.13'
        }
        self.headers = headers
        self.base_url = 'http://d1.weather.com.cn/calendar_new/2016/101210101_2016%s.html'

    def request_html_data(self, url):
            html = requests.get(url, headers=self.headers).content
            html = html.decode()
            #字符串切片，去除"var fc40 ="
            html_json = json.loads(html[11:])
            weather_list = []
            for weather in html_json:
                item = {}
                item['日期'] = weather.get('date')
                item['降水概率'] = weather.get('hgl')
                item['最高溫度'] = weather.get('hmax')
                item['最低溫度'] = weather.get('hmin')
                item['農(nóng)歷日期'] = weather.get('nlyf') + weather.get('nl')
                item['不宜'] = weather.get('alins')
                item['宜'] = weather.get('als')
                weather_list.append(item)
            #數(shù)據(jù)存儲mongodb
            client = MongoClient('mongodb://172.16.110.163:27017/')
            db = client['weather']
            posts = db.weather
            #插入含多字典列表
            posts.insert_many(weather_list)

if __name__ == '__main__':
    cw = chinaweather()
    for i in range(1, 13):
        #拼接字符串，月份小于10，需要加0
        if i < 10:
            str_i = "0" + str(i)
            url = cw.base_url % str_i
            cw.request_html_data(url)
        else:
            str_i = str(i)
            url = cw.base_url % str_i
            cw.request_html_data(url)

MongoDB存儲數(shù)據(jù)

用MongoDB存這樣的數(shù)據(jù)太方便了，不必想Mysql中那樣創(chuàng)建表、定義表結(jié)構(gòu) 字段類型，直接可以插入數(shù)據(jù)

image.png

參考資料
mongodb 在pycharm插件安裝步驟
How To Install MongoDB on CentOS 7