Python學(xué)習(xí)的第四天

1.爬蟲基礎(chǔ)

1.1獲取網(wǎng)址

url='https://www.baidu.com'
response=requests.get(url)

1.2獲取str類型的響應(yīng)

print(response.text)

1.3獲取bytes類型的響應(yīng)

print(response.content)

1.4獲取響應(yīng)頭

print(response.headers)

1.5獲取狀態(tài)碼

print(response.status_code)

1.6響應(yīng)頭用以偽裝成瀏覽器

#沒(méi)有添加響應(yīng)頭
# resp=requests.get('https://www.zhihu.com/')
# print(resp.status_code)
#運(yùn)行返回400

#使用字典定義請(qǐng)求頭
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"}
resp=requests.get('https://pvp.qq.com/')
print(resp.status_code)
#運(yùn)行返回200

2.靜態(tài)網(wǎng)頁(yè)爬蟲

2.1導(dǎo)入lxml庫(kù)

from lxml import html

2.2打開(kāi)并讀取本地html文件

with open('./index.html','r',encoding='utf-8') as f:
    html_data=f.read()
    print(html_data)

2.3解析html文件，獲取selector對(duì)象

    selector =html.fromstring(html_data)
    #要獲取標(biāo)簽內(nèi)容，末尾要添加text（）
    h1=selector.xpath('/html/body/h1/text()')
    print(h1[0])

2.4//表示可以代表任意位置出發(fā)

#//標(biāo)簽1[@屬性=屬性值]/標(biāo)簽2[@屬性=屬性值]..../text（）
a=selector.xpath('//div[@id="container"]/a/text()')
print(a)

3.動(dòng)態(tài)網(wǎng)頁(yè)爬蟲（當(dāng)當(dāng)網(wǎng)和電影網(wǎng)）

3.1導(dǎo)入庫(kù)

import requests
from lxml import html
import pandas as pd
from matplotlib import pyplot as plt

3.2設(shè)置響應(yīng)頭和url

瀏覽器中按f12，點(diǎn)擊network，刷新界面，下面的name中隨意選取查看右邊信息的User-Agent

def spider_dangdang(isbn):
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"}
#裝圖書信息的list
    book_list = []
    #目標(biāo)站點(diǎn)地址
    url='http://search.dangdang.com/?key={}&act=input'.format(isbn)

3.3獲取站點(diǎn)str類型的響應(yīng)

    resp=requests.get(url,headers=headers)
    html_data=resp.text

3.4提取目標(biāo)站所有圖書信息

   selector=html.fromstring(html_data)
   ul_list=selector.xpath('//div[@id="search_nature_rg"]/ul/li')
   print('共有{}家店鋪售賣此書'.format(len(ul_list)))

3.5遍歷信息獲取想要的數(shù)據(jù)

    for li in ul_list:
        #圖書名
        title=li.xpath('./a/@title')[0].strip()
        # print(title)
        #圖書購(gòu)買鏈接
        link=li.xpath('a/@href')[0]
        # print(link)
        #圖書價(jià)格
        price=li.xpath('./p[@class="price"]/span[@class="search_now_price"]/text()')[0]
        price = float(price.replace('￥', ''))
        # print(price)
        #圖書賣家名稱
        store =li.xpath('./p[@class="search_shangjia"]/a/text()')
        # if len(store)==0:
        #     store='當(dāng)當(dāng)自營(yíng)'
        store='當(dāng)當(dāng)自營(yíng)' if len(store) ==0 else store[0]
        #添加每個(gè)商家的圖書信息
        book_list.append({
            'title':title,
            'link':link,
            'price':price,
            'store':store
        })
 #排序
    book_list.sort(key=lambda x:x['price'])

3.6獲取銷量最高的10家繪制柱狀圖

 #展示價(jià)格最低的10家 柱狀圖
    top10_store=[book_list[i] for i in range(10)]
    # x=[]
    # for stroe in top10_store:
    #     x.append(store['store'])
    x=[x['store'] for x in top10_store]
    y=[x['price'] for x in top10_store]
    plt.barh(x,y)
    plt.show()

3.7存儲(chǔ)成csv文件

    df=pd.DataFrame(book_list)
    df.to_csv('dangdang.csv')
#以上步驟均是在函數(shù)spider_dangdang中執(zhí)行

3.8調(diào)用函數(shù)

#要查詢的圖書的編號(hào)9787115428028
spider_dangdang('9787115428028')

4.對(duì)豆瓣網(wǎng)爬蟲

#電影名，上映日期，類型，上映國(guó)家，想看人數(shù)
#根據(jù)想看人數(shù)進(jìn)行排序
#繪制即將上映電影國(guó)家的占比圖
#繪制top5最想看的電影

#請(qǐng)求遠(yuǎn)程端站點(diǎn)
import requests
from lxml import  html
import pandas as pd
from matplotlib import pyplot as plt

plt.rcParams["font.sans-serif"] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

counts={}
# 目標(biāo)站點(diǎn)地址
def spider_douban():
    movie_list=[]
    url = 'https://movie.douban.com/cinema/later/chongqing/'
    headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36"}
    resp = requests.get(url, headers=headers)
    html_data = resp.text

#  將html頁(yè)面寫入本地
#     with open('dangdang.html', 'w', encoding='utf-8') as f:
#         f.write(html_data)
    #提取目標(biāo)站信息
    selector = html.fromstring(html_data)
    ul_list = selector.xpath('//div[@id="showing-soon"]/div/div')
    print('您好，共有{}部電影即將在重慶上映'.format(len(ul_list)))

    # 遍歷ul_list
    for li in ul_list:
        # 電影名稱
        title = li.xpath('./h3/a/text()')[0].strip()
        print(title)
        # 上映日期
        date = li.xpath('./ul/li/text()')[0]
        print(date)
        # 類型
        type = li.xpath('./ul/li/text()')[1]
        print(type)

        # 上映國(guó)家
        country = li.xpath('./ul/li/text()')[2]
        print(country)
        # 想看人數(shù)
        num = li.xpath('./ul/li/span/text()')[0]
        print(num)
        num = int(num.replace('人想看', ''))

        #添加電影信息
        movie_list.append({
            'title':title,
            'date': date,
            'type':type,
            'country':country,
            'num':num
        })

    #按照人數(shù)進(jìn)行排序
    movie_list.sort(key=lambda x:x['num'],reverse=True)

    #遍歷booklist
    for movie in movie_list:
        print(movie)

    #畫餅圖，把國(guó)家提取出來(lái)
    city=[]
    # 提取國(guó)家信息
    for country in movie_list:
        city.append((country['country']))

    # 將國(guó)家信息匯總
    for country in city:
        if len(country) <= 1:
            continue
        else:
            counts[country] = counts.get(country, 0) + 1
    items = list(counts.items())
    print(items)

    movie_name=[]
    people=[]
    for i in range(4):
        role, count = items[i]
        print(role, count)
        movie_name.append(role)
        people.append(count)


     #繪制即將上映電影國(guó)家的占比圖，餅圖

    explode = [0.1, 0, 0, 0]
    plt.pie(people, explode=explode,labels=movie_name, shadow=True, autopct='%1.1f%%')
    plt.axis('equal')  # 保證餅狀圖是正圓，否則會(huì)有點(diǎn)扁
    plt.show()


    # 展示最想看的前5家，柱狀圖
    # 電影名稱
    top5_movie = [movie_list[i] for i in range(5)]
    print(top5_movie)
    x = [x['title'] for x in top5_movie]
    print(x)
    # 想看人數(shù)
    y = [x['num'] for x in top5_movie]
    print(y)

    plt.bar(x,y)
    #plt.barh(x,y)
    plt.show()
    存儲(chǔ)成csv文件
    df = pd.DataFrame(movie_list)
    df.to_csv('douban.csv')

spider_douban()

5.電影網(wǎng)爬蟲

import requests
from lxml import html
import pandas as pd
from matplotlib import pyplot as plt

plt.rcParams["font.sans-serif"] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False


def spider_film():
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"}
    film_list = []
    #目標(biāo)站點(diǎn)地址

    url='https://movie.douban.com/cinema/later/chongqing/'
    #獲取站點(diǎn)str類型的響應(yīng)
    resp=requests.get(url,headers=headers)
    html_data=resp.text

    #提取目標(biāo)站信息
    selector=html.fromstring(html_data)
    ul_list=selector.xpath('//div[@id="showing-soon"]/div')
    print('您好，共有{}部電影'.format(len(ul_list)))

    #遍歷 ul_list
    for div in ul_list:
        #電影名
        title=div.xpath('./div/h3/a/text()')[0]
        print(title)
        #上映日期
        date=div.xpath('./div/ul/li/text()')[0]
        print(date)
        #類型
        style=div.xpath('./div/ul/li/text()')[1]
        print(style)
        #上映國(guó)家
        state =div.xpath('./div/ul/li/text()')[2]
        print(state)
        #想看人數(shù)
        want_people = div.xpath('./div/ul/li[@class="dt last"]/span/text()')[0]
        want_people = int(want_people.replace('人想看', ''))
        print(want_people)

        #添加每個(gè)電影的圖書信息
        film_list.append({
            'title':title,
            'date':date,
            'style':style,
            'state':state,
            'want_people':want_people
        })
  #排序
    film_list.sort(key=lambda x:x['want_people'])

  #展示價(jià)格最低的10家 柱狀圖
    top5_film=[film_list[i] for i in range(5)]

    x=[x['title'] for x in top5_film]
    y=[x['want_people'] for x in top5_film]
    plt.barh(x,y)
    plt.show()

#  調(diào)用函數(shù)
spider_film()
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 爬蟲——大數(shù)據(jù) 1. 提取本地HTML中的數(shù)據(jù) 1. 新建index.html文件 2. 讀取HTML文件 需要安...
    婉兒吖閱讀 408評(píng)論 0贊 0
  • 1、爬蟲一些知識(shí) (1)節(jié)點(diǎn)選擇語(yǔ)法 XPath使用路徑表達(dá)式來(lái)選取XML文檔中的節(jié)點(diǎn)或者節(jié)點(diǎn)集。這些路徑表達(dá)式和...
    小烏龜快點(diǎn)跑吖閱讀 365評(píng)論 0贊 0
  • python學(xué)習(xí)的第四天 爬蟲 1.結(jié)點(diǎn)選擇語(yǔ)法 2.Requests 注：無(wú)requests即下載安裝：pip ...
    古喬萌閱讀 227評(píng)論 0贊 0
  • 爬蟲 爬蟲（又被稱為網(wǎng)頁(yè)蜘蛛，網(wǎng)絡(luò)機(jī)器人），它是一種按照一定的規(guī)則，自動(dòng)地抓取互聯(lián)網(wǎng)信息的程序或者腳本。也即它是一...
    小頴子閱讀 242評(píng)論 0贊 0
  • “五十八、五十九、六十，唉，終于做完了”，小明數(shù)著做完了六十個(gè)俯臥撐站起來(lái)，突然想起來(lái)今天抽了3根煙，于是又換了運(yùn)...
    康萌故事閱讀 340評(píng)論 0贊 0

友情鏈接更多精彩內(nèi)容