前言
最近時間也是比較多，出于某些原因，對幾個視頻網(wǎng)站的彈幕進行了抓取。今天也是把手頭的事情做完了，想著寫一篇文章，也算對是一篇小小的總結(jié)。（要是有什么不對的地方，還請斧正）
正文
彈幕數(shù)據(jù)的格式根據(jù)網(wǎng)站視頻種類的方式可能有所不同，這里大致分為兩類：一種是存儲在xml,json文件中的，此類比較容易。第二種是直播平臺類的彈幕，由于彈幕具有實時性，存儲在文件中不能滿足其實時性，繼而采用其他的方式，那具體是什么方式呢，先賣個關(guān)子。
第一種
對于這里的第一種情況，我們拿優(yōu)酷來舉例子。
??首先，老規(guī)矩，帶開網(wǎng)頁，開發(fā)者選項，很亂，一堆請求......
這里呢，有一個快捷的方式：先關(guān)閉彈幕，清空選項卡，再打開彈幕看請求。
打開后立即能看到三個請求，是不是有點眼熟，讓我們來看看其中的格式是json的選項卡。
很明顯，就是它了。
我們看到，這個文件是通過post方式請求得到的。所有彈幕是分多個文件存儲的，而其中決定返回某一文件的參數(shù)，經(jīng)過測試，是由mat參數(shù)所決定的。
而其他的參數(shù)從何而來呢，又有何作用呢。經(jīng)過測試，iid是某個電影的id，其他參數(shù)的值并不影響返回的結(jié)果，這里就不考慮進來了。那么問題來了，這個iid到哪兒獲取呢，回到電影主頁面的代碼。搜索之前請求中的iid，果不其然，在這兒。
用正則表達(dá)式將其匹配出來，有了這些，請求的主要參數(shù)我們也就得到了。
#res.content為我們獲得的主頁內(nèi)容
iid = re.findall("videoId:\"(.*?)\"", res.content)
第二種
這里采集的是一個直播網(wǎng)站（么么直播）
??因為直播網(wǎng)站的彈幕具有實時性，這里采用的是websocket， 有些網(wǎng)站可能是采用的flash的socket通信，為什么要這樣呢，因為需要實現(xiàn)瀏覽器與服務(wù)器的全雙工通信，實現(xiàn)實時交互。
來自百度百科：WebSocket協(xié)議支持（在受控環(huán)境中運行不受信任的代碼的）客戶端與（選擇加入該代碼的通信的）遠(yuǎn)程主機之間進行全雙工通信。用于此的安全模型是Web瀏覽器常用的基于原始的安全模式。 協(xié)議包括一個開放的握手以及隨后的TCP層上的消息幀。 該技術(shù)的目標(biāo)是為基于瀏覽器的、需要和服務(wù)器進行雙向通信的（服務(wù)器不能依賴于打開多個HTTP連接（例如，使用XMLHttpRequest或<iframe>和長輪詢））應(yīng)用程序提供一種通信機制。
說到web socket，這里又不得不講到ajax輪詢與long poll了：
ajax輪詢的原理比較容易理解，讓瀏覽器隔個幾秒就發(fā)送一次請求，詢問服務(wù)器是否有新信息。
long poll 其實原理和 ajax輪詢 相似，都是采用輪詢的方式，不過采取的是阻塞模型（一直打電話，沒收到就不掛電話），也就是說，客戶端發(fā)起連接后，如果沒消息，就一直不返回Response給客戶端。直到有消息才返回，返回完之后，客戶端再次建立連接，周而復(fù)始。
同樣，看到選項卡：
與普通http請求不同的是，我們可以看到選項卡中多了一個frame的選項，并且其中的內(nèi)容是實時更新的，這就又說明了web socket的特性，全雙工，就像我們打電話，我跟你說話的同時，你也能和我說話。
那么我們應(yīng)該怎么模擬瀏覽器與服務(wù)器進行通信呢？這里只講簡單的實例，具體還請自行學(xué)習(xí)。
代碼實現(xiàn)
import websocket
import re
while True:
try:
ws = websocket.WebSocket()
ws.connect('ws://ws.memeyule.com:6010/socket.io/?room_id=51293043&access_token=&EIO=3&transport=websocket')
while True:
data = ws.recv()
JsonData = re.sub('[0-9]+', '', data, 1)
print JsonData.replace('[','').replace(']', '')
except:
continue
總結(jié)
爬蟲看似簡單，其實水深著。對基礎(chǔ)知識是一個不小的考驗！
