B 站真是個(gè)神奇的網(wǎng)站。找不到資料了，去 B 站逛一逛，保準(zhǔn)有你滿意的東西。
前幾天寫了個(gè)爬蟲，用 path、re、BeautifulSoup 爬取的 B 站 python 視頻，但是這個(gè)爬蟲有有個(gè)缺陷，沒能獲取視頻的圖片信息，如果你去嘗試你會(huì)發(fā)現(xiàn)它根本就不在返回的結(jié)果里面。今天就用分析 Ajax 的方法獲取到。
分析頁面
通常我們?cè)诜治鲰撁娴臅r(shí)候，都要切換到 Network 分析url 從中找到我們想要的 url 。但是找不到 url 你怎么分析？B 站就是這么神奇的存在，我們最后分析確定的 url 是這個(gè)：
url = 'https://api.bilibili.com/x/web-interface/search/type?jsonp=jsonp&&search_type=video&highlight=1&keyword=python&page={}'.format(page)
打開 B 站，搜索 python ，打開開發(fā)者工具，切換到 Network 你可以去找找，還真是沒有。
至于怎么找到的呢，我也是摸索了好長(zhǎng)時(shí)間才發(fā)現(xiàn)
圖片
點(diǎn)一下搜索，這個(gè) url 才會(huì)出現(xiàn)，或者點(diǎn)一下下一頁
詳情
然后就構(gòu)造這個(gè)請(qǐng)求就可以了。
需要注意的是最后一個(gè)參數(shù)不能添加。
代碼實(shí)戰(zhàn)
import requests
import json,re,time
import pandas as pd
from requests.exceptions import RequestException
class Spider():
def get_page(self,page):
try:
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64)'
' AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
}
url = 'https://api.bilibili.com/x/web-interface/search/type?jsonp=jsonp&&search_type=video&highlight=1&keyword=python&page={}'.format(page)
r = requests.get(url,headers)
if r.status_code == 200:
return r.text
else:
print(r.status_code)
except RequestException:
print('請(qǐng)求失敗')
return None
def parse_page(self,html):
#轉(zhuǎn)換成JSON對(duì)象，好操作
data = json.loads(html)
results = data.get('data').get('result')
for result in results:
#獲取圖片地址
image_url = result['pic']
#獲取視頻地址
video_url = result['arcurl']
#獲取作者
video_author = result['author']
#獲取視頻標(biāo)題，中間有額外的字符，用re替換一下
video_title = result['title']
video_title = re.sub('<em class="keyword">[Pp]ython</em>','Python',video_title)
#獲取播放量
video_play = result['play']
#獲取上傳時(shí)間,這里將時(shí)間戳轉(zhuǎn)換成標(biāo)準(zhǔn)格式
video_date = result['pubdate']
timestr = time.localtime(video_date)
video_date = time.strftime('%Y-%m-%d %H-%M-%S',timestr)
print(image_url,video_url,video_title,video_play,video_date)
def run(self):
for i in range(1,3):
html = self.get_page(i)
self.parse_page(html)
def main():
spider = Spider()
spider.run()
if __name__ == '__main__':
main()
代碼里面有些解釋已經(jīng)很清楚了，在這里再次復(fù)習(xí)一下
re.sub()
這個(gè)函數(shù)傳入五個(gè)參數(shù)，前三個(gè)是必須傳入的 pattern,、repl、 string
- 第一個(gè)是表示的是正則表達(dá)式中模式字符串
- 第二個(gè)是要被替換的字符串
- 第三個(gè)是文本字符串
剩下兩個(gè)可選參數(shù)，一個(gè)是 count 一個(gè)是 flag 。
時(shí)間戳轉(zhuǎn)換成標(biāo)準(zhǔn)格式的時(shí)間
第一種方法
import time
timeStamp = 1581418600
timeArray = time.localtime(timeStamp)
otherStyleTime = time.strftime("%Y-%m-%d %H:%M:%S", timeArray)
print otherStyleTime
第二種方法
import time
import datetime
timeStamp = 1381419600
dateArray = datetime.datetime.utcfromtimestamp(timeStamp)
otherStyleTime = dateArray.strftime("%Y-%m-%d %H:%M:%S")
print otherStyleTime
綜上就是這次的全部?jī)?nèi)容，多加練習(xí)繼續(xù)加油！
