[toc]
一、背景介紹
您好，我是@馬哥python說，一枚10年程序猿。
以前大家見面都問"吃了沒"，最近大家見面都問"陽了沒"，奈何疫情反反復(fù)復(fù)，惟愿身體安康！
我用python抓取了B站上千條評論，并進行可視化輿情分析，下面詳細講解代碼。
二、爬蟲代碼
2.1 展示爬取結(jié)果
首先，看下部分爬取數(shù)據(jù)：
爬取字段含：視頻鏈接、評論頁碼、評論作者、評論時間、IP屬地、點贊數(shù)、評論內(nèi)容。
2.2 爬蟲代碼講解
導入需要用到的庫：
import requests # 發(fā)送請求
import pandas as pd # 保存csv文件
import os # 判斷文件是否存在
import time
from time import sleep # 設(shè)置等待，防止反爬
import random # 生成隨機數(shù)
定義一個請求頭：
# 請求頭
headers = {
'authority': 'api.bilibili.com',
'accept': 'application/json, text/plain, */*',
'accept-language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',
# 需定期更換cookie，否則location爬不到
'cookie': "需換成自己的cookie值",
'origin': 'https://www.bilibili.com',
'referer': 'https://www.bilibili.com/video/BV1FG4y1Z7po/?spm_id_from=333.337.search-card.all.click&vd_source=69a50ad969074af9e79ad13b34b1a548',
'sec-ch-ua': '"Chromium";v="106", "Microsoft Edge";v="106", "Not;A=Brand";v="99"',
'sec-ch-ua-mobile': '?0',
'sec-ch-ua-platform': '"Windows"',
'sec-fetch-dest': 'empty',
'sec-fetch-mode': 'cors',
'sec-fetch-site': 'same-site',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36 Edg/106.0.1370.47'
}
請求頭中的cookie是個很關(guān)鍵的參數(shù)，如果不設(shè)置cookie，會導致數(shù)據(jù)殘缺或無法爬取到數(shù)據(jù)。
那么cookie如何獲取呢？打開開發(fā)者模式，見下圖：
所以開發(fā)一個函數(shù)用于轉(zhuǎn)換時間格式：
def trans_date(v_timestamp):
"""10位時間戳轉(zhuǎn)換為時間字符串"""
timeArray = time.localtime(v_timestamp)
otherStyleTime = time.strftime("%Y-%m-%d %H:%M:%S", timeArray)
return otherStyleTime
向B站發(fā)送請求：
response = requests.get(url, headers=headers, ) # 發(fā)送請求
0-19個評論，都存放在replies下面，replies又在data下面，所以，這樣解析數(shù)據(jù)：
data_list = response.json()['data']['replies'] # 解析評論數(shù)據(jù)
這樣，data_list里面就是存儲的每條評論數(shù)據(jù)了。
接下來嗎，就是解析出每條評論里的各個字段了。
我們以評論內(nèi)容這個字段為例：
comment_list = [] # 評論內(nèi)容空列表
# 循環(huán)爬取每一條評論數(shù)據(jù)
for a in data_list:
# 評論內(nèi)容
comment = a['content']['message']
comment_list.append(comment)
其他字段同理，不再贅述。
最后，把這些列表數(shù)據(jù)保存到DataFrame里面，再to_csv保存到csv文件，持久化存儲完成：
# 把列表拼裝為DataFrame數(shù)據(jù)
df = pd.DataFrame({
'視頻鏈接': 'https://www.bilibili.com/video/' + v_bid,
'評論頁碼': (i + 1),
'評論作者': user_list,
'評論時間': time_list,
'IP屬地': location_list,
'點贊數(shù)': like_list,
'評論內(nèi)容': comment_list,
})
# 把評論數(shù)據(jù)保存到csv文件
df.to_csv(outfile, mode='a+', encoding='utf_8_sig', index=False, header=header)
注意，加上encoding='utf_8_sig'，否則可能會產(chǎn)生亂碼問題！
下面，是主函數(shù)循環(huán)爬取部分代碼：（支持多個視頻的循環(huán)爬?。?/p>
# 隨便找了幾個"世界杯"相關(guān)的視頻ID
bid_list = ['BV1DP411g7jx', 'BV1M24y117K3', 'BV1nt4y1N7Kj']
# 評論最大爬取頁（每頁20條評論）
max_page = 30
# 循環(huán)爬取這幾個視頻的評論
for bid in bid_list:
# 輸出文件名
outfile = 'b站評論_{}.csv'.format(now)
# 轉(zhuǎn)換aid
aid = bv2av(bid=bid)
# 爬取評論
get_comment(v_aid=aid, v_bid=bid)
三、可視化代碼
為了方便看效果，以下代碼采用jupyter notebook進行演示。
3.1 讀取數(shù)據(jù)
用read_csv讀取剛才爬取的B站評論數(shù)據(jù)：
3.2 數(shù)據(jù)清洗
處理空值及重復(fù)值：
3.3 可視化
3.3.1 IP屬地分析-柱形圖
可得結(jié)論：關(guān)于"陽了"這個話題，評論里關(guān)注度最高為廣東、北京、江蘇等地區(qū)，其中，廣東省的關(guān)注度最高。同時，我們注意到，也包含一些海外網(wǎng)友的少量評論。
3.3.2 評論時間分析-折線圖
分析出評論時間的分布情況：
可得結(jié)論：關(guān)于"陽了"這個話題，再抓取到的數(shù)據(jù)范圍內(nèi)，12.18日的評論數(shù)據(jù)量最大，達到了將近900的數(shù)量峰值。
3.3.3 點贊數(shù)分布-直方圖
由于點贊數(shù)大部分為0或個位數(shù)情況，個別點贊數(shù)到達成千上萬，直方圖展示效果不佳，因此，僅提取點贊數(shù)<30的數(shù)據(jù)繪制直方圖。
可得結(jié)論：從直方圖的分布來看，點贊數(shù)在0-3個的評論占據(jù)大多數(shù)，很少點贊數(shù)達到了上千上萬的情況。證明網(wǎng)友對"陽了"事件的態(tài)度分布比較均勻，沒有出現(xiàn)態(tài)度非常聚集的評論內(nèi)容。
3.3.4 評論內(nèi)容-情感分布餅圖
針對中文評論數(shù)據(jù)，采用snownlp開發(fā)情感判定函數(shù)：
可得結(jié)論：關(guān)于"陽了"這個話題，積極評價與消極評價占比差不多，積極評價稍高一點，反應(yīng)出網(wǎng)友對感染陽性的態(tài)度反差很大，大約各占一半。
3.3.5 評論內(nèi)容-詞云圖
初始化停用詞和詞云圖對象：
可得結(jié)論：在詞云圖中，陽、感染、發(fā)燒、癥狀、疼、嗓子等詞匯較大，出現(xiàn)頻率較高，反應(yīng)出眾多網(wǎng)友對確診陽性后描述病癥、積極探討病情的現(xiàn)狀。
三、演示視頻
代碼演示視頻：
https://www.zhihu.com/zvideo/1590645358123839488
by 馬哥python說
