day03-selenium簡單語法xpath解析mongobd

1. selenium語法

"""__author__= 雍新有"""
from selenium import webdriver

# 模擬調(diào)用不同的瀏覽器
# webdriver.Chrome()
# webdriver.Firefox()
# webdriver.PhantomJS()
# webdriver.Safari()
# webdriver.Opera()

broswer = webdriver.Chrome()

broswer.get('http://www.taobao.com')

2. xpath語法

"""__author__= 雍新有"""
"""
    使用xpath解析源碼
"""
from lxml import etree


html = '''
    <!DOCTYPE html>
    <html lang="en">
    <head>
        <meta charset="UTF-8">
        <title>Title</title>
    </head>
    <body>
        <div>
            <ul>
                <li class="class1"><a href="class1.html">1</a></li>
                <li class="class2"><a href="class2.html">2</a></li>
                <li class="class3"><a href="class3.htl">3</a></li>
                <li class="class4"><a href="class4.html">4</a></li>
                <li class="class5"><a href="class5.html">5</a></li>
                <li>
                    <ul>
                        <li class="class1"><a href="class6.html">6</a></li>
                        <li class="ass7"><a href="class7.html">7</a></li>
                        <li class="class8"><a href="class8.html">8</a></li>
                    </ul>
                </li>
            </ul>
        <div>
    </body>
    </html>
'''

# soup = BeautifulSoup(html, 'lxml')
tree = etree.HTML(html)

# 拿到整個html的內(nèi)容，只不過是一個對象  '/'表示從根節(jié)點去獲取元素
a1 = tree.xpath('/html')
print(a1)

# '//'從任何一個位置上獲取元素
a2 = tree.xpath('//ul')
print(a2)

a3 = tree.xpath('/html/body/div/ul')
print(a3)

a4 = tree.xpath('/html/body/div/ul/li/ul')
print(a4)
for item in a4:

    # '.'表示當前位置，此處，表示ul的位置
    print(item.xpath('./li/a'))
    # '@'獲取屬性
    print(item.xpath('./li/a/@href'))
    # text()表示獲取標簽內(nèi)的信息
    print(item.xpath('./li/a/text()'))

# //* -- 從任何一個位置去找所有類名為class1的標簽
a5 = tree.xpath('//*[@class="class1"]')
print(a5)
for item in a5:
    print(item.xpath('./a/text()'), item.xpath('./a/@href'))

3. mongodb

3.1 mongodb語法

查看數(shù)據(jù)庫: show dbs
創(chuàng)建數(shù)據(jù)庫: db.createCollection('maoyan')
使用: use maoyan

MongoDB中的概念：數(shù)據(jù)庫(類似mysql中的數(shù)據(jù)庫)、
集合(類似mysql中的表)、
文檔(不用定義表結(jié)構(gòu)，直接記錄數(shù)據(jù))

注意: 集合可不用自己創(chuàng)建，向集合中插入數(shù)據(jù)時，集合會自動創(chuàng)建
db.集合名.insert() ===> db.user.insert({'name': 'whf'})
db.集合名.save()
db.集合名.find() 查詢集合內(nèi)的文檔信息
db.集合名.find({}) 查詢集合內(nèi)的文檔信息
show collections 查詢集合

db.集合名.drop() 刪除集合 -- 刪除表
db.user(集合名).remove({'name': 'li4'}) (條件) -- 刪除集合中的文檔(刪除一條記錄)
db.user.update({'name': 'zhang3'}, {'$set':{'age': 20}}) -- 修改字段

3.2 mongodb數(shù)據(jù)庫連接

"""__author__= 雍新有"""
"""
    使用pymongo
"""
import pymongo


# 獲取客戶端
client = pymongo.MongoClient(host='47.100.164.252', port=27017)

# 獲取數(shù)據(jù)庫
db = client['spider']


def execute_movie(data):

    db['douban'].insert(data)


if __name__ == '__main__':
    data = {'title': '一出好戲', 'rate': '9.0'}
    execute_movie(data)

4. 豆瓣電影爬取

  • json接口
  • mongdb存儲
"""__author__= 雍新有"""
import json

from db_helper import execute_movie

"""
    爬取豆瓣電影，進行存儲(采用mongodb) - 爬接口而不是直接爬頁面數(shù)據(jù)
"""
import requests


def get_html(url):
    # request中默認user-agent為python=requests/版本
    # urllib中默認user-agent為python-urllib/版本
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.80 Safari/537.36'
    }
    try:
        response = requests.get(url, headers=headers)
        # loads()將json格式數(shù)據(jù)轉(zhuǎn)化成dict
        # dumps()將dict轉(zhuǎn)化成json格式數(shù)據(jù)
        data = json.loads(response.text)
        return data
    except Exception as e:
        print('IP異常，請切換IP')
        # TODO:從ip代理池獲取一個有效代理
        proxies = {
            'http': 'http://183.129.207.78:18118'
        }
        response = requests.get(url, headers=headers, proxies=proxies)
        # loads()將json格式數(shù)據(jù)轉(zhuǎn)化成dict
        # dumps()將dict轉(zhuǎn)化成json格式數(shù)據(jù)
        data = json.loads(response.text)
        return data


if __name__ == '__main__':

    # 分類地址
    tag_url = 'https://movie.douban.com/j/search_tags?type=movie&source='
    # 獲取電影信息地址
    movie_url = 'https://movie.douban.com/j/search_subjects?type=movie&tag={tag}&sort=recommend&page_limit=20&page_start={start}'
    # 獲取分類接口返回信息
    result = get_html(tag_url)
    for tag in result['tags']:
        for i in range(20):
            real_url = movie_url.format(tag=tag, start=i*20)
            # 獲取到的是電影信息
            result_movie = get_html(real_url)
            print(result_movie['subjects'])
            data = result_movie['subjects']
            if len(data):
                # 接口返回電影信息存在，則保持
                for item in data:
                    # item為每一個電影的信息，使用mongdb存儲
                    # 使用pymongo進行存儲數(shù)據(jù)
                    execute_movie(data)
            else:
                # 接口返回電影信息不存在，則跳出當前循環(huán)
                break

5. 爬取u17最熱

  • 用的本地mongdb
  • post請求
"""__author__= 雍新有"""
import pymongo
import requests
import json

client = pymongo.MongoClient(host='127.0.0.1', port=27017)
db = client['spider']


def get_html(url, data):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.80 Safari/537.36',
    }
    response = requests.post(url, headers=headers, data=data)
    result = json.loads(response.text)

    return result


def save_mongo(data):
    for item in data:
        db['u17'].insert_one(item)


def main():
    post_url = 'http://www.u17.com/comic/ajax.php?mod=comic_list&act=comic_list_new_fun&a=get_comic_list'
    comic_url = 'http://www.u17.com/comic/{comic_id}.html'
    for i in range(1, 6):
        data = {
            'data[group_id]': 'no',
            'data[theme_id]': 'no',
            'data[is_vip]': 'no',
            'data[accredit]': '2',
            'data[color]': 'no',
            'data[comic_type]': 'no',
            'data[series_status]': 'no',
            'data[order]': '1',
            'data[page_num]': str(i),
            'data[read_mode]': 'no',
        }
        json = get_html(post_url, data)
        real_result = []
        for item in json['comic_list']:
            data = {
                'real_url': comic_url.format(comic_id=item['comic_id']),
                'name': item['name'],
                'img': item['cover'],
                'type': item['line1'],
            }
            real_result.append(data)
        print(real_result)
        save_mongo(real_result)


if __name__ == '__main__':
    main()
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

相關(guān)閱讀更多精彩內(nèi)容

  • NoSql數(shù)據(jù)庫優(yōu)缺點 在優(yōu)勢方面主要體現(xiàn)在下面幾點： 簡單的擴展 快速的讀寫 低廉的成本 靈活的數(shù)據(jù)模型 在不足...
    dreamer_lk閱讀 2,874評論 0贊 6
  • 一、MongoDB簡介 1.概述 ? MongoDB是一個基于分布式文件存儲的數(shù)據(jù)庫，由C++語言編寫。旨在為WE...
    鄭元吉閱讀 1,118評論 0贊 2
  • 一、MongoDB簡介 概述MongoDB是一個基于分布式文件存儲的數(shù)據(jù)庫，由C++語言編寫。旨在為WEB應用提供...
    王梓懿_1fbc閱讀 560評論 0贊 3
  • 一、MongoDB簡介 概述MongoDB是一個基于分布式文件存儲的數(shù)據(jù)庫，由C++語言編寫。旨在為WEB應用提供...
    fly5閱讀 356評論 0贊 0
  • 一、MongoDB簡介 概述MongoDB是一個基于分布式文件存儲的數(shù)據(jù)庫，由C++語言編寫。旨在為WEB應用提供...
    未央_m閱讀 755評論 0贊 1

友情鏈接更多精彩內(nèi)容