歡迎關(guān)注哈希大數(shù)據(jù)微信公眾號(hào)【哈希大數(shù)據(jù)】

貓眼電影票房榜單中各電影實(shí)時(shí)票房數(shù)據(jù)和總票房數(shù)據(jù)是經(jīng)過(guò)加密的，咱們直接獲取不到，現(xiàn)在咱們就嘗試采用圖像識(shí)別的方法把實(shí)時(shí)票房數(shù)據(jù)和總票房數(shù)據(jù)爬下來(lái)，附帶把電影主演、上映時(shí)間、宣傳海報(bào)鏈接等信息也獲取下來(lái)。

本次爬取主要流程如下：

1. 分析網(wǎng)頁(yè)結(jié)構(gòu)
2. 用selenium調(diào)用chromedriver去驅(qū)動(dòng)chrome瀏覽器獲取網(wǎng)頁(yè)信息
3. 將票房信息保存為圖片，利用PIL對(duì)圖片進(jìn)行二值化、銳化等預(yù)處理
4. 利用tesseract對(duì)保存的圖片進(jìn)行識(shí)別，得到票房數(shù)據(jù)
5. 保存數(shù)據(jù)

接下來(lái)進(jìn)行詳細(xì)說(shuō)明：

1. 分析網(wǎng)頁(yè)結(jié)構(gòu)

貓眼電影國(guó)內(nèi)票房榜URL為：https://maoyan.com/board/1，其結(jié)構(gòu)較為簡(jiǎn)答，只展示國(guó)內(nèi)上線電影實(shí)時(shí)票房的前十名。

image

可爬取的字段也只有7個(gè)：目前排名、實(shí)時(shí)票房數(shù)據(jù)、總票房數(shù)據(jù)、電影名稱、電影主演、上映時(shí)間、宣傳海報(bào)鏈接，不過(guò)我們要多記錄一個(gè)字段：當(dāng)前時(shí)間，唯一好玩的點(diǎn)在于實(shí)時(shí)票房是加密的，可以讓咱們?cè)囋嚹懿荒芾脠D像識(shí)別的方式把它搞定。

2. 獲取非加密數(shù)據(jù)

這里使用的是selenium模擬的方式獲取網(wǎng)頁(yè)信息，之前也介紹過(guò)，但沒用它直接解析數(shù)據(jù)，前面一般是先把網(wǎng)頁(yè)信息獲取下來(lái)，再用BeautifulSoup或PyQuery這兩個(gè)解析庫(kù)處理解析信息，今天咱們看看如何用其API直接獲取數(shù)據(jù)：
首先得到所有內(nèi)容標(biāo)簽：

contents_list = driver.find_elements_by_css_selector('dl.board-wrapper dd')

這里注意咱們用的是find_elements_by_css_selector，element后面加了s。如果不加s，find_element方法查找就只能得到第一個(gè)節(jié)點(diǎn)，加了s后可獲得滿足條件的所有節(jié)點(diǎn)，以列表類型返回。
對(duì)于標(biāo)簽的文本內(nèi)容的獲取也是非常簡(jiǎn)單，例如提取電影排名：
contents['index']= content.find_element_by_css_selector('i.board-index').text
找到標(biāo)簽后加.text便可獲得標(biāo)簽內(nèi)容。獲取標(biāo)簽內(nèi)屬性值也很簡(jiǎn)單,例如提取電影名稱: contents['title']= content.find_element_by_css_selector('img.board-img').get_attribute('alt')
找到標(biāo)簽后加.get_attribute('屬性名稱')便可獲得標(biāo)簽內(nèi)屬性值。具體實(shí)例如下：

for content in contents_list:<br> &nbsp;&nbsp;&nbsp; contents['index'] = content.find_element_by_css_selector('i.board-index').text<br>; contents['image_url'] = content.find_element_by_css_selector('img.boardimg').get_attribute('src')<br>;contents['title'] = content.find_element_by_css_selector('img.boardimg').get_attribute('alt')<br> &nbsp;&nbsp;&nbsp; try:<br> contents['actor'] = content.find_element_by_css_selector('p.star').text<br>; except NoSuchElementException:<br>;contents['actor'] = ''<br>; contents['time'] = content.find_element_by_css_selector('p.releasetime').t;

3. 將票房信息保存為圖片，利用PIL對(duì)圖片進(jìn)行二值化、銳化等預(yù)處理操作
將想要獲取信息的標(biāo)簽保存圖片的一般步驟如下：
a) 截取當(dāng)前窗口（selenium不能直接截取單個(gè)標(biāo)簽）
b) 獲取標(biāo)簽位置坐標(biāo)和標(biāo)簽大小
c) 利用PIL包的crop函數(shù)根據(jù)標(biāo)簽的坐標(biāo)和大小將標(biāo)簽剪切保存下來(lái)
舉例如下：

image

上圖就是網(wǎng)頁(yè)截圖，利用save_screenshot函數(shù)可以獲得當(dāng)前窗口截圖，咱們需要將藍(lán)色方框內(nèi)的票房數(shù)據(jù)剪切保存下來(lái)，所以我們需要它們的坐標(biāo)和大小，幸運(yùn)的是咱們可以利用.location和.size函數(shù)得到標(biāo)簽的坐標(biāo)和大小，最后再利用PIL包的crop函數(shù)根據(jù)標(biāo)簽的坐標(biāo)和大小將標(biāo)簽剪切保存下來(lái)。

以上步驟在截取信息在第一屏的情況很好用，但在窗口超過(guò)了一屏，且需要截取的元素在后面時(shí)，就只能另辟蹊徑了。
咱們抓取貓眼電影的電影票房網(wǎng)頁(yè)就比較長(zhǎng)，一屏根本展示不完。當(dāng)然咱們可以利用js下拉網(wǎng)頁(yè)然后截圖，這樣也能將下面網(wǎng)頁(yè)的信息截取到，但獲取到的標(biāo)簽位置坐標(biāo)的基準(zhǔn)點(diǎn)在網(wǎng)頁(yè)的左上角（如上圖提示），crop函數(shù)在裁剪時(shí)以當(dāng)前圖片左上角為基準(zhǔn)，所以基準(zhǔn)不同截取出來(lái)的內(nèi)容肯定不對(duì)。
在網(wǎng)上查到WebDriver.PhantomJS自帶的方法支持對(duì)整個(gè)網(wǎng)頁(yè)截屏，這不是太爽了，但當(dāng)我用的時(shí)候又懵逼了，PhantomJS是可以截取整個(gè)網(wǎng)頁(yè)，但截取結(jié)果是這樣的：

image

尼瑪要啥不給啥呀，同時(shí)程序也提示警告selenium已經(jīng)不再允許使用PhantomJS了，怎么辦咱們還是默默回去用chrome吧！這時(shí)突然靈光一閃，剛才不能用chrome的原因是location函數(shù)獲取的標(biāo)簽坐標(biāo)和crop函數(shù)在裁剪坐標(biāo)基準(zhǔn)不同，咱們把它調(diào)一致不就可以了（嘖嘖嘖此處應(yīng)有掌聲），說(shuō)干就干，這個(gè)網(wǎng)頁(yè)上一共有10部電影我只用下拉10次就OK了，所以這里咱們來(lái)個(gè)for循環(huán)，window.scrollTo函數(shù)用了下拉網(wǎng)頁(yè)，它有兩個(gè)參數(shù)第一個(gè)是參數(shù)代表橫向拖動(dòng)像素?cái)?shù)，第二個(gè)代表縱向拖動(dòng)像素?cái)?shù)?？墒敲看蜗吕嗌倌?？270px(像素)，
咦你咋知道？
來(lái)來(lái)來(lái)告訴大家一個(gè)小技巧咱們用微信截圖是它會(huì)顯示截圖圖片大小，對(duì)本實(shí)例咱們每次下拉兩個(gè)電影票房之間的長(zhǎng)度就好，如下圖其長(zhǎng)度為270px。

image

這樣應(yīng)該是能得到每個(gè)票房數(shù)據(jù)標(biāo)簽了，在得到票房數(shù)據(jù)標(biāo)簽后咱們還要進(jìn)行一下圖片預(yù)處理（二值化，銳化），最后將標(biāo)簽保存下來(lái)，部分代碼如下：

length = n*270driver.execute_script('window.scrollTo(0, {}*270)'.format(n))# 保存當(dāng)前窗口為圖片driver.save_screenshot('b.png')# time.sleep(2)# 定位div地址location = div.location# print(location)# 得到div尺寸size = div.size# print(size)left = location['x']top = location['y'] - lengthright = location['x'] + size['width']bottom = location['y'] + size['height'] - length

4. 利用tesseract對(duì)保存的圖片進(jìn)行識(shí)別，得到票房數(shù)據(jù)
原始票房數(shù)據(jù)圖片：

image

預(yù)處理后的票房數(shù)據(jù)圖片：

image

對(duì)處理后的圖片進(jìn)行利用tesseract進(jìn)行識(shí)別處理，部分代碼如下：

# 調(diào)用tesseract進(jìn)行文字?jǐn)?shù)字識(shí)別，目前對(duì)于淺顏色的字體識(shí)別率較低，若想提高識(shí)別率需要對(duì)圖片做預(yù)處理os.system('echo off')#關(guān)閉命令行窗口運(yùn)行命令的顯示os.system('tesseract' + ' ' + filename + ' ' + output + ' ' + '-l num+chi_tra') #默認(rèn)已配置好系統(tǒng)變量time.sleep(2)f = open(output + ".txt", encoding='utf-8')try:    t = f.readlines()[0]

目前在沒有去訓(xùn)練自己的數(shù)據(jù)識(shí)別包，直接利用tesseract的現(xiàn)有數(shù)據(jù)包，通過(guò)多次試驗(yàn)對(duì)實(shí)時(shí)票房的識(shí)別率已達(dá)到97%以上，由于總票房字體顏色太淺，且字體較小目前識(shí)別率還比較低在60%左右。得到的數(shù)據(jù)具體如下圖所示：

image

本次初次嘗試?yán)脠D像識(shí)別解決爬蟲與到的問(wèn)題，感覺確實(shí)比較好玩，目前獲取標(biāo)簽圖片的流程已經(jīng)打通，但圖像預(yù)處理和圖像識(shí)別部分還有大量工作要做，目前是采用第三方軟件Tesseract-OCR進(jìn)行的識(shí)別，后面一方面會(huì)繼續(xù)研究Tesseract-OCR，另一方面也會(huì)嘗試?yán)蒙疃葘W(xué)習(xí)的方法提高圖片文字的識(shí)別精度。

image