學(xué)妹期末大作業(yè)

基于Python的十年（2009年~2018年）電影票房前25位分析
根據(jù)URL“http://www.cbooo.cn” 通過代碼爬取2009-2018每年票房排名前25的影片名稱、類型、總票房（萬）、平均票價(jià)、場均人次及國家及地區(qū)的信息，并按照以下要求完成分析。
1． 按年統(tǒng)計(jì)
1） 不同類型電影的平均票房
2） 不同國家及地區(qū)電影在前25排名中的占比
2． 分析十年間
1） 每年票房冠軍的票房走勢，并找出十年票房總冠軍
2） 不同類型的票房分冠軍
3） 同一類型電影平均票房走勢，分別找出上升、下降最厲害的兩種類型
4） 同一地區(qū)在前25排名中占比的變化趨勢，分別找出占比上升、下降最厲害的兩個(gè)地區(qū)
5） 探究是否有一種或多種類型的電影在十年間票房震蕩非常厲害
3． 分析總票房和平均票價(jià)、場均人次、排片場數(shù)之間的關(guān)系。
4．撰寫word文檔完成本分析題，所有的結(jié)論和分析都需要配圖或表加以支撐。并將十年間共250部電影名稱作成詞云烘托主題。

大作業(yè)分析

1.環(huán)境，建議使用anaconda3（環(huán)境集成，不用再去安裝依賴包，之類的）
官網(wǎng)地址：https://www.anaconda.com/download/
2.分為爬取數(shù)據(jù)和分析兩個(gè)部分
下面直接上代碼

爬蟲部分，爬取數(shù)據(jù)并存放到data.csv中

#!/usr/bin/python
# -*- coding: utf-8 -*-
import requests
import time
import re
import csv
from bs4 import BeautifulSoup

#設(shè)置URL固定部分
url='http://www.cbooo.cn/year?year='
#設(shè)置請(qǐng)求頭部信息
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
#循環(huán)抓取列表頁信息
for year in range(2009,2019):
    if year == 2009:
        year=str(year)
        a=(url+year)
        r=requests.get(url=a,headers=headers)
        html=r.content
    else:
        year=str(year)
        a=(url+year)
        r=requests.get(url=a,headers=headers)
        html2=r.content
        html = html + html2
    #每次間隔0.5秒
    time.sleep(0.5)
lj=BeautifulSoup(html,'html.parser')
#print(lj)
#提取名稱、類型、總票房（萬）、平均票價(jià)、場均人次及國家及地區(qū)
result=lj.find_all('td')
#print(result)
#print(len(result))
mname=[]
title=""
index=1
year=2009
for i in result:
    i=str(i)
    title=re.findall(r'</span>(.*?)</p>',i,re.I|re.M)
    if len(title)>0:
        mname.append(index)
        index=index+1
        mname.append(title[0])
    else:
        info=re.findall(r'<td>(.*?)</td>',i,re.I|re.M)
        mname.append(info[0])
#print(len(mname))
#print(mname)
k=0
data=[]
while k<2000:
    year=2009
    year=year+(k//200)
    data.append([mname[k],mname[k+1],mname[k+2],mname[k+3],mname[k+4],mname[k+5],mname[k+6],mname[k+7],year,1])
    k=k+8
#print(data)
print(len(data))#一共250條數(shù)據(jù)
#將結(jié)果存到CSV文件
with open('./data.csv','w') as fout:
    cin= csv.writer(fout,lineterminator='\n')
    #寫入row_1    cin.writerow(["index","name","type","zpf","mantimes","price","area","datatime","year","mark"])
    for item in data:
        cin.writerow(item)

結(jié)果，生成一個(gè)data.csv文件，我們打開看一下

image.png

一共250行數(shù)據(jù)，也就是近10年的電影
接下來，我們進(jìn)行分析部分的代碼

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

data1 = pd.read_csv('./data.csv',encoding='gbk')
#data

# 1.1 按年統(tǒng)計(jì) 不同類型電影的平均票房
data=data1
data = data.groupby(['type','year']).zpf.mean().unstack()
#沒有的補(bǔ)0
data.fillna(0,inplace = True)
data

image.png

# 1.2 按年統(tǒng)計(jì) 不同國家及地區(qū)電影在前25排名中的占比
data=data1
data.mark = data.mark/25
data = data.groupby(['area','year']).mark.sum().unstack()
data.fillna(0,inplace = True)
data

image.png

# 2.1 分析十年間 每年票房冠軍的票房走勢，并找出十年票房總冠軍
data=data1
df_empty = pd.DataFrame()
i=0
while i<len(data.index):
    df_empty=df_empty.append(data.loc[data.index == i],ignore_index=True)
    i=i+25
#按總票數(shù)排序
df_empty=df_empty.loc[np.argsort(df_empty.zpf,axis=1)]
df_empty

image.png

# 2.2 分析十年間 不同類型的票房分冠軍---失敗待解決
data=data1
data=data.groupby('type').agg({'zpf':['max']}).reset_index()
data

# 2.3 分析十年間 同一類型電影平均票房走勢，分別找出上升、下降最厲害的兩種類型
data=data1
data = data.groupby(['type','year']).zpf.mean().unstack()
data.fillna(0,inplace = True) 
#設(shè)置識(shí)別中文
plt.rcParams['font.sans-serif']=['SimHei']
plt.rcParams['axes.unicode_minus']=False
#設(shè)置畫布大小
plt.figure(figsize=(12,6))
plt.title('同一類型電影平均票房走勢',fontsize=20)
plt.xlabel('年份')
plt.ylabel('平均票房(萬)')
plt.plot(data.T)
data.T.plot()
#data

# 2.4 分析十年間 同一地區(qū)在前25排名中占比的變化趨勢，分別找出占比上升、下降最厲害的兩個(gè)地區(qū)
data=data1
#mark設(shè)置為1/25，方便后邊算比例
data.mark=0.04
data = data.groupby(['area','year']).mark.sum().unstack()
data.fillna(0,inplace = True)
#設(shè)置畫布大小
plt.figure(figsize=(12,6))
plt.title('同一地區(qū)在前25排名中占比的變化趨勢',fontsize=20)
plt.xlabel('年份')
plt.ylabel('占比')
plt.plot(data.T)
data.T.plot()
#data

# 2.5 分析十年間 探究是否有一種或多種類型的電影在十年間票房震蕩非常厲害
data=data1
data = data.groupby(['type','year']).zpf.sum().unstack()
data.fillna(0,inplace = True) 
#設(shè)置畫布大小
plt.figure(figsize=(12,6))
plt.title('電影類型在十年間總票房變化',fontsize=20)
plt.xlabel('年份')
plt.ylabel('總票房（萬）')
plt.plot(data.T)
data.T.plot()
#data

#3．分析總票房和平均票價(jià)之間的關(guān)系
data=data1
#設(shè)置畫布大小
plt.figure(figsize=(12,6))
plt.title('總票房和平均票價(jià)的關(guān)系',fontsize=20)
plt.xlabel('平均票價(jià)')
plt.ylabel('總票房（萬）')
plt.scatter(data.price,data.zpf,c='r')
#data

image.png

#3．分析總票房和場均人次的關(guān)系
data=data1
#設(shè)置畫布大小
plt.figure(figsize=(12,6))
plt.title('總票房和場均人次的關(guān)系',fontsize=20)
plt.xlabel('場均人次')
plt.ylabel('總票房（萬）')
plt.scatter(data.mantimes,data.zpf,c='g')

image.png

#3．分析總票房和排片場數(shù)之間的關(guān)系
data=data1
#設(shè)置畫布大小
plt.figure(figsize=(12,6))
plt.title('總票房和排片場數(shù)的關(guān)系',fontsize=20)
plt.xlabel('排片場數(shù)（萬）')
plt.ylabel('總票房(萬)')
plt.scatter(data.zpf,(data.zpf/data.price/data.mantimes),c='b')

image.png

#4．將十年間共250部電影名稱作成詞云烘托主題-----待解決
from PIL import Image,ImageSequence
import numpy as np
import matplotlib.pyplot as plt
from wordcloud import WordCloud,ImageColorGenerator
image= Image.open('./tim.jpg')
graph = np.array(image)
wc = WordCloud(font_path='./fonts/simhei.ttf',background_color='White',max_words=50,mask=graph)
wc.generate_from_frequencies(keywords)
image_color = ImageColorGenerator(graph)
plt.imshow(wc)
plt.imshow(wc.recolor(color_func=image_color))
plt.axis("off")
plt.show()
wc.to_file('dream.png')

有問題的地方后期會(huì)更新一下，總的來說，這是五個(gè)月前，第一次寫python爬蟲，然后做數(shù)據(jù)分析
請(qǐng)大家多多提些寶貴意見！

感謝閱讀~