前言
昨天在寫完 入門級(jí)爬蟲之后 ，馬上就迫不及待的著手開(kāi)始寫 B站的圖片爬蟲了，真的很喜歡這個(gè)破站呢 (?￣△￣)?
這里不涉及到 Python 爬蟲的高級(jí)技巧，沒(méi)有使用框架，沒(méi)有考慮反爬機(jī)制，沒(méi)有使用異步IO技術(shù)，因?yàn)檫@些，我都不會(huì)！
分析目標(biāo)
我們選定 B站的 動(dòng)畫區(qū) 進(jìn)行測(cè)試，打開(kāi)后我們發(fā)現(xiàn)有好多好多圖....
但當(dāng)我們使用 F12 查看這些圖片的時(shí)候，發(fā)現(xiàn)并沒(méi)有圖片的地址...
這就是目前大多網(wǎng)站使用的 Ajax 技術(shù)動(dòng)態(tài)加載數(shù)據(jù)的鍋，可遇到這種情況這么辦呢？別急別急，我們知道這些圖片的地址一定是需要加載的，而目前常見(jiàn)WEB傳輸數(shù)據(jù)的基本就是方式 XML 和 Json (其實(shí)是我就知道這兩種...)，那好我們?nèi)タ纯凑?qǐng)求的 XML 和 Json 文件。
以下省略查找過(guò)程....
我們發(fā)現(xiàn) B站的圖片地址是保存在 Json 里面的，ok，我們保存好這個(gè) json 地址:
https://api.bilibili.com/x/web-interface/dynamic/region?callback=jQuery172071087417824369_1505783866149&jsonp=jsonp&ps=15&rid=24&_=1505783866453
這個(gè)是 MAD·AMV 最新動(dòng)態(tài)的 Json 文件，利用上面相同的方法，我們找到 3D區(qū)、短片·配音區(qū)、綜合區(qū) 以及 右邊排行部分 的相應(yīng) json 地址。
找到 Json 數(shù)據(jù)后，我們需要開(kāi)始分析如何才能從中拿到 圖片地址了
好在 Chrome 瀏覽器提供了一個(gè) Preview 功能，自動(dòng)幫我們整理好 數(shù)據(jù)，如下
這樣就很清晰啦，我們只需要一層層解析拿到 pic 即可。于是我們這樣寫：
json_url = 'https://api.bilibili.com/x/web-interface/dynamic/region?callback=jQuery172071087417824369_1505783866149&jsonp=jsonp&ps=15&rid=24&_=1505783866453'
json = requests.get(json_url).json()
print (json)
我們利用 requests 內(nèi)置的 json 解碼器，很不幸，報(bào)錯(cuò)：
json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
它提示說(shuō)：解碼 Json 數(shù)據(jù)的時(shí)候出了問(wèn)題，可能是在 第一行 第一列，咦？好奇怪，剛才不是用瀏覽器看過(guò)結(jié)構(gòu)了嗎，沒(méi)毛病啊，怎么還在報(bào)錯(cuò)：Σ( ￣□￣||)
別急別急，我們先看看原始的 Json 數(shù)據(jù)長(zhǎng)啥樣？用 瀏覽器打開(kāi)上面的 json 鏈接就可以了。
（/TДT)/ 前面的那些字母是干嘛的呀，為什么還有括號(hào)??！
所以我們知道了 Json 解析錯(cuò)誤 的原因啦：后面在處理的時(shí)候把前面的這部分刪掉就好啦，另外我們也發(fā)現(xiàn)了 archives 這個(gè)關(guān)鍵字，我們?cè)谏弦粡垐D看見(jiàn)過(guò)的哦，有印象嗎？啊，你說(shuō)沒(méi)有呀，沒(méi)關(guān)系，這里你只需要記著它是一個(gè) List 的數(shù)據(jù)類型就好了呀！
開(kāi)碼開(kāi)碼
先看看 解析部分怎么寫：
- 獲取 Json 數(shù)據(jù)
- 解析 Json 數(shù)據(jù)，并保存其中的 所有的圖片鏈接
- 注意去重
#coding:utf-8
__author__ = 'Lanc4r'
import json
import requests
import re
class BiliBiliSpider(object):
def __init__(self):
self._images = []
self._oldImages = [] # 保存已經(jīng)獲取過(guò)的 圖片地址
def _getImages(self, url):
content = requests.get(url).text
dic = json.loads(re.match(r'^([a-zA-Z0-9_(]+)(.*)(\))$', content).group(2))
data = dic['data']
# 判斷是 動(dòng)態(tài)區(qū) 和 還是 評(píng)論區(qū)的數(shù)據(jù)
if 'archives' in data:
final = data['archives']
else:
final = data
for i in range(len(final)):
image = final[i]['pic']
if image not in self._oldImages: # 去重
self._images.append(image)
self._oldImages.append(image)
def getResult(self, url):
self._getImages(url)
temp = self._images
self._images = []
return temp
OK，接下來(lái)寫下載器：
- 獲取需要下載的 圖片地址
- 進(jìn)行下載
- 我這里是用數(shù)字作為圖片的名字保存起來(lái)的，數(shù)字用一個(gè) count.txt 文件保存，為了好看一點(diǎn)吧...
#coding:utf-8
__author__ = 'Lanc4r'
import requests
class BiliBiliDownloader(object):
def __init__(self):
self._images = []
def addNewImages(self, images):
for image in images:
self._images.append(image)
# 獲取后綴名
def getFinName(self, url):
if url[-4:].find('.') > -1:
fin = url[-4:]
else:
fin = url[-5:]
return fin
def imageDownload(self):
with open('count.txt', 'rb') as f:
temp = int(f.read().decode('utf-8'))
for url in self._images:
name = 'images/' + str(temp) + self.getFinName(url)
print ('Downloading {}...'.format(name))
r = requests.get(url)
with open(name, 'wb') as f:
f.write(r.content)
temp += 1
self._images = []
with open('count.txt', 'wb') as f:
f.write(str(temp).encode('utf-8'))
最后是調(diào)度器：
為了防止被當(dāng)作是 惡意訪問(wèn) 從而被封 IP，這里我們選擇犧牲時(shí)間，取巧使用 sleep(x) ，讓其等待一段時(shí)間之后再發(fā)出請(qǐng)求。
#coding:utf-8
__author__ 'Lanc4r'
from BiliBiliSpider import BiliBiliSpider
from BiliBiliDownloader import BiliBiliDownloader
import time
class BiliBiliMain(object):
def __init__(self):
self._spider = BiliBiliSpider()
self.downloader = BiliBiliDownloader()
def Crawl(self, url):
images = self._spider.getResult(url)
self.downloader.addNewImages(images)
self.downloader.imageDownload()
if __name__ == '__main__':
# 添加相應(yīng)位置的 json 文件
json_url_MAD = 'https://xxx...'
json_url_MAD_rank = 'https://xxx...'
...
json_url_list = []
json_url_list.append(json_url_MAD)
json_url_list.append(...)
...
bilibili = BiliBiliMain()
# 設(shè)置一個(gè)標(biāo)志位，循環(huán)爬取多少次之后自動(dòng)退出。
flag = 1
while True:
for url in json_url_list:
bilibili.Crawl(url)
time.sleep(30) # 防止被當(dāng)作是惡意請(qǐng)求。。。
time.sleep(100) # 防止被當(dāng)作是惡意請(qǐng)求。。。
flag += 1
if flag > 15:
break
運(yùn)行效果：
總結(jié)：
你可能會(huì)問(wèn)我，呀，你這個(gè)，根本沒(méi)有代理、沒(méi)有混淆IP防止反爬、也沒(méi)有模擬 Ajax 請(qǐng)求動(dòng)態(tài)抓取云云~
那我可以很負(fù)責(zé)的告訴你，你！走錯(cuò)地方了！你要找的技術(shù)貼出門右拐！（￣へ￣）
關(guān)于取巧
我們恰巧使用的是 B站的 Ajax 技術(shù)，只要哪個(gè)視頻有了最新評(píng)論(或者是一下其它的條件)，就會(huì)使用 Ajax 將最新的數(shù)據(jù)取出來(lái)。就像下面這樣：
所以可能在訪問(wèn)人數(shù)多的時(shí)候，更新越快，越有可能獲得更多不同的圖片啦！
之后你就可以在吃飯的時(shí)候，把它掛起，然后吃飯回來(lái)就會(huì)發(fā)現(xiàn)有好多好多的圖片！(=?ω?=)
關(guān)于以后
之后會(huì)陸續(xù)的更新自己爬蟲的爬坑過(guò)程，希望能夠找到小伙伴一起學(xué)習(xí)呀！
