詳解基于python +Selenium的爬蟲(chóng)

一.背景

1. Selenium

Selenium 是一個(gè)用于web應(yīng)用程序自動(dòng)化測(cè)試的工具，直接運(yùn)行在瀏覽器當(dāng)中，支持chrome、firefox等主流瀏覽器?？梢酝ㄟ^(guò)代碼控制與頁(yè)面上元素進(jìn)行交互（點(diǎn)擊、輸入等），也可以獲取指定元素的內(nèi)容。

2.優(yōu)劣

劣勢(shì)：

• 相比于抓包→構(gòu)造請(qǐng)求→解析返回值的爬蟲(chóng)，由于Selenium需要生成一個(gè)瀏覽器環(huán)境，所有操作（與元素交互、獲取元素內(nèi)容等）均需要等待頁(yè)面加載完畢后才可以繼續(xù)進(jìn)行，所以速度相比構(gòu)造請(qǐng)求的慢很多。

• 對(duì)于為了反爬做了特殊處理的展示內(nèi)容，如字體加密（參考貓眼）、圖片替換數(shù)字（參考自如）等，可能取不到想要的數(shù)據(jù)。

  使用圖片替換數(shù)字的自如：

  image-20190107215702089

  做了字體加密的貓眼：

1.png

優(yōu)勢(shì)：

• 不需要做復(fù)雜的抓包、構(gòu)造請(qǐng)求、解析數(shù)據(jù)等，開(kāi)發(fā)難度相對(duì)要低一些。
• 其訪問(wèn)參數(shù)跟使用瀏覽器的正常用戶一模一樣，訪問(wèn)行為也相對(duì)更像正常用戶，不容易被反爬蟲(chóng)策略命中。
• 生成的瀏覽器環(huán)境可以自動(dòng)運(yùn)行 JS 文件，所以不用擔(dān)心如何逆向混淆過(guò)的JS文件生成用作人機(jī)校驗(yàn)的參數(shù)，如馬蜂窩酒店評(píng)論的人機(jī)校驗(yàn)參數(shù)_sn，網(wǎng)易云音樂(lè)評(píng)論的人機(jī)校驗(yàn)參數(shù)params、encSecKey?？梢宰孕凶グ榭?。
• 如果需要抓取同一個(gè)前端頁(yè)面上面來(lái)自不同后端接口的信息，如OTA酒店詳情頁(yè)的酒店基礎(chǔ)信息、價(jià)格、評(píng)論等，使用Selenium可以在一次請(qǐng)求中同時(shí)完成對(duì)三個(gè)接口的調(diào)用，相對(duì)方便。

二、實(shí)現(xiàn)

1.環(huán)境

python3.6 + Macos

2.依賴包

Selenium

安裝的時(shí)候是大寫(xiě)的 S ，import的時(shí)候是 小寫(xiě) s。

pip install Selenium

3.瀏覽器驅(qū)動(dòng)（webdriver）

加載瀏覽器環(huán)境需要下載對(duì)應(yīng)的瀏覽器驅(qū)動(dòng)，此處選擇 Chrome。

下載地址：http://npm.taobao.org/mirrors/chromedriver/ ，選擇合適的版本下載解壓后放在隨便一個(gè)位置即可。

4.hello world

from selenium import webdriver

'''這里填剛剛下載的驅(qū)動(dòng)的路徑'''
path = '/Applications/Google Chrome.app/Contents/chromedriver'

driver = webdriver.Chrome(executable_path=path)

url = 'http://hotel.qunar.com/city/beijing_city/'
driver.get(url)

'''運(yùn)行上述代碼，會(huì)打開(kāi)一個(gè)瀏覽器，并且加載去哪兒的酒店列表頁(yè)'''

這時(shí)候可以通過(guò)webdriver自帶的一些的一些方法獲取元素內(nèi)容或者與元素進(jìn)行交互。

image-20190108224445170

#返回ID = js_block_beijing_city_7810的元素信息
hotel_info = driver.find_element_by_id('js_block_beijing_city_7810')
print(hotel_info.text)
#返回 展示在列表頁(yè)的酒店信息
#同理，可以find_element_by_[class_name|name] 等，均可完成查詢。

也可以通過(guò)方法 find_elements查找符合某條件的一組元素，以列表的形式返回。

image-20190108225039418

#當(dāng)需要查詢的唯一標(biāo)識(shí)帶有空格時(shí)，可以使用find_elements_by_css_selector，否則會(huì)報(bào)錯(cuò)。
hotel_list = driver.find_elements_by_css_selector("[class='b_result_box js_list_block  b_result_commentbox']")
print(hotel_list)
#返回酒店列表的全部信息。

5.關(guān)閉圖片加載

在不需要抓取圖片的情況下，可以設(shè)置不加載圖片，節(jié)約時(shí)間，這樣屬于調(diào)整本地設(shè)置，在傳參上并不會(huì)有異常。

from selenium import webdriver

chrome_opt = webdriver.ChromeOptions()
prefs={"profile.managed_default_content_settings.images":2}
chrome_opt.add_experimental_option("prefs",prefs)

path = '' #驅(qū)動(dòng)路徑
browser_noPic = webdriver.Chrome(executable_path=path,chrome_options=chrome_opt)

三、使用webdriver與元素進(jìn)行交互

1.模擬鼠標(biāo)點(diǎn)擊

image-20190108230139238

hotel_info = driver.find_element_by_id("js_plugin_tag_beijing_city_7810")
hotel.info.click()
#進(jìn)入酒店詳情頁(yè)

2.模擬鍵盤(pán)輸入

hotel_search = driver.find_element_by_id("jxQ")
hotel_search.send_keys("如")
hotel_search.send_keys("如家")
#由于搜索框輸入的第一個(gè)字會(huì)被選中，所以需要第二次才能完整輸入，當(dāng)然也可以模擬按鍵盤(pán)的 →(右鍵)取消選中后再次輸入。

3.模擬下拉

webdriver中對(duì)鼠標(biāo)的操作的方法封裝在ActionChains類中 ，使用前要先導(dǎo)入ActionChains類：

from selenium.webdriver.common.action_chains import  ActionChains

"""在頁(yè)面頂部、底部個(gè)找了一個(gè)元素，并模擬鼠標(biāo)從頂?shù)降椎幕瑒?dòng)"""
start = driver.find_element_by_class_name('e_above_header')
target = driver.find_element_by_class_name('qn_footer')
ActionChains(driver).drag_and_drop(start,target).perform()

此外，webdiver還提供豐富的交互功能，比如鼠標(biāo)懸停、雙擊、按住左鍵等等，此處不展開(kāi)介紹。

四、一個(gè)完整的模擬瀏覽器爬蟲(chóng)

from selenium import webdriver
from selenium.webdriver.common.action_chains import  ActionChains
import time

'''這里填剛剛下載的驅(qū)動(dòng)的路徑'''
path = '/Users/./Desktop/chromedriver'
driver = webdriver.Chrome(executable_path=path)

url = 'http://hotel.qunar.com/city/beijing_city/'
driver.get(url) 


time.sleep(6) #等待頁(yè)面加載完再進(jìn)行后續(xù)操作

"""在頁(yè)面頂部、底部個(gè)找了一個(gè)元素，并模擬鼠標(biāo)從頂?shù)降椎幕瑒?dòng)"""
start = driver.find_element_by_class_name('e_above_header')
target = driver.find_element_by_class_name('qn_footer')
ActionChains(driver).drag_and_drop(start,target).perform()

time.sleep(5) #等待頁(yè)面加載完再進(jìn)行后續(xù)操作

hotel_link_list = driver.find_elements_by_css_selector("[class='item_price js_hasprice']")
print("在此頁(yè)面共有酒店",len(hotel_link_list),"家")
windows = driver.window_handles

#此處可以爬整個(gè)頁(yè)面任何想要想要的元素
list_hotel_info=[]
def hotel_info_clawer():
    list_hotel_info.append([driver.find_element_by_class_name("info").text,
                            driver.find_element_by_class_name("js-room-table").text,
                            driver.find_element_by_class_name("dt-module").text])


for i in range(len(hotel_link_list)):
    hotel_link_list[i].click()
    driver.switch_to.window(windows[-1]) #切換到剛打開(kāi)的酒店詳情頁(yè)
    hotel_info_clawer()
    driver.close() #關(guān)閉已經(jīng)爬完的酒店詳情頁(yè)    
    print("已經(jīng)抓取酒店",i,"家")


    
#后面可以補(bǔ)充翻頁(yè)繼續(xù)抓取的部分

五、使用截圖+OCR抓取關(guān)鍵數(shù)據(jù)

對(duì)于做了特殊處理的信息，如上述的貓眼電影的票房信息、自如的價(jià)格等，不適用于直接獲取制定元素的信息進(jìn)行抓取，可以使用截圖+OCR的方式抓取此類數(shù)據(jù)。

以自如的房租為例：

image-20190112201939908

from selenium import webdriver

'''這里填剛剛下載的驅(qū)動(dòng)的路徑'''
path = '/Applications/Google Chrome.app/Contents/chromedriver'
driver = webdriver.Chrome(executable_path=path)

url = 'http://www.ziroom.com/z/vr/61715463.html'
driver.get(url)

price = diver.find_element_by_class_name('room_price')

print(price.text)#由于自如的價(jià)格用圖片做了替換，這樣并不能獲取到實(shí)際價(jià)格，需要獲取圖片再做ocr處理

"對(duì)指定元素部分截圖再保存"
price.screenshot('/Users/./Desktop/price.png')

安裝ocr工具：

Tesseract是一個(gè)開(kāi)源的OCR引擎，能識(shí)別100多種語(yǔ)言（中，英，韓，日，德，法...等等），但是Tesseract對(duì)手寫(xiě)的識(shí)別能力較差，僅適用于打印字體。

//僅安裝tesseract，不安裝訓(xùn)練工具和其他語(yǔ)音包，需要識(shí)別中文的話得額外下載
//下載地址：https://github.com/tesseract-ocr/tessdata
brew install tesseract

使用Tesseract：

tesseract ~/price.png result
//識(shí)別圖片并將結(jié)果存在result里面

在python下使用Tesseract：

首先安裝依賴包：pip install pytesseract

import pytesseract
from PIL import Image

# open image
image = Image.open('price.png')
code = pytesseract.image_to_string(image)
print(code)

六、待填坑

• 操作鼠標(biāo)滑動(dòng)滑塊