在之前的文章中說過，模擬瀏覽器在現(xiàn)在的python庫中有兩個(gè)選擇Mechanize與Selenium：然而Mechanize不支持JavaScript，Selenium是一套完整的Web應(yīng)用程序測試系統(tǒng)。所以對(duì)于爬蟲開發(fā)來說selenium就成了爬蟲開發(fā)的核武器，可以有效的幫助我們(1.無腦的執(zhí)行JavaScript渲染頁面;2.規(guī)避反爬)。
在此之前實(shí)現(xiàn)的十幾萬網(wǎng)站的頻道識(shí)別是絕對(duì)不能算是定點(diǎn)爬蟲的了，所以只好祭出核武器。
網(wǎng)上關(guān)于selenium的教程有很多，這里細(xì)數(shù)selenium的注（yi）意（xie）事（shen）項(xiàng)（keng）：
-
關(guān)于web_driver的選擇
- phantomjs：不要選！不要選這個(gè)！phantomjs相信是很多爬蟲使用者在接觸selenium時(shí)使用的的一個(gè)瀏覽器了。無頭（無界面）瀏覽器。但是，phantomjs已經(jīng)放棄維護(hù)了，使用中會(huì)出現(xiàn)進(jìn)程無法正常關(guān)閉的情況，只能通過系統(tǒng)腳本kill，還有一個(gè)問題可以說非常致命了，在driver異常的時(shí)候不僅無法正常退出還可能將cpu占滿，很可能導(dǎo)致你其他進(jìn)程的執(zhí)行失敗。不推薦，真的不推薦。
- firefox：沒有phantomjs那兩個(gè)問題，用起來相對(duì)正常（有種說法是selenium對(duì)firefox支持最好）。缺點(diǎn)在于沒有無界面模式（也許有，但我翻了很多文檔都沒找到）；在程序異常是會(huì)輸出大量日志文件擠占磁盤空間（win下默認(rèn)輸出在c:\windows\temp\）。這兩個(gè)缺點(diǎn)相對(duì)比較好克服，第一點(diǎn)，反正你一般也不會(huì)在你的爬蟲集群上面的機(jī)器進(jìn)行操作所以影響不大；第二點(diǎn)，寫個(gè)腳本讓磁盤空間不足的時(shí)候自動(dòng)刪除這個(gè)目錄就好了。
- Chrome:我現(xiàn)在使用的是這個(gè)。有無界面模式，缺點(diǎn)除了占點(diǎn)內(nèi)存也沒什么（內(nèi)存占用并沒有很夸張，比phantomjs多1/3不到的樣子）。希望谷歌爸爸的Chrome就這樣堅(jiān)持下去不要出問題。
-
關(guān)于selenium使用代理的問題
假如你抓的是會(huì)封ip的網(wǎng)站，那你除了sleep更需要使用代理。給出常用設(shè)置方法：
- phantomjs:
from selenium import webdriver from selenium.webdriver.common.proxy import Proxy from selenium.webdriver.common.proxy import ProxyType from selenium.webdriver.common.desired_capabilities import DesiredCapabilities proxy = Proxy( { 'proxyType': ProxyType.MANUAL, 'httpProxy': 'ip:port' # 代理ip和端口 } ) # 配置對(duì)象DesiredCapabilities desired_capabilities = DesiredCapabilities.PHANTOMJS.copy() # 把代理ip加入配置對(duì)象 proxy.add_to_capabilities(desired_capabilities) driver = webdriver.PhantomJS( executable_path="/path/of/phantomjs", desired_capabilities=desired_capabilities ) driver.get('http://www.ip.cn/')- firefox:
from selenium import webdriver profile = webdriver.FirefoxProfile() profile.set_preference('network.proxy.type', 1) profile.set_preference('network.proxy.http', '127.0.0.1') profile.set_preference('network.proxy.http_port', 17890) #端口號(hào)為int profile.update_preferences() driver = webdriver.Firefox(firefox_profile=profile) driver.get('http://www.ip.cn/')- Chrome:
chromeOptions = webdriver.ChromeOptions() chromeOptions.add_argument('--proxy-server=http://ip:port') driver = webdriver.Chrome(chrome_options=chromeOptions) driver.get('http://www.ip.cn/')從代碼量上來看，我繼續(xù)安利Chrome
-
selenium的兩（san）種等待方式。
- time.sleep:不是selenium的等待方式，但有時(shí)候簡單粗暴出奇跡（原因看下面）。
- implicitly_wait(xx)：隱性等待。設(shè)置了一個(gè)最長等待時(shí)間，如果在規(guī)定時(shí)間內(nèi)網(wǎng)頁加載完成，則執(zhí)行下一步，否則一直等到時(shí)間截止。
-
WebDriverWait類：顯式等待，配合until()和until_not()方法。程序每隔x秒看一下，如果條件成立了，則執(zhí)行下一步，否則繼續(xù)等待，直到超過設(shè)置的最長時(shí)間，然后拋出TimeoutException。
最長的等待時(shí)間取決于兩者之間的大者，如果隱性等待時(shí)間 > 顯性等待時(shí)間，則該句代碼的最長等待時(shí)間等于隱性等待時(shí)間。
網(wǎng)上說implicit_wait、WebDriverWait存在風(fēng)險(xiǎn)會(huì)遇見bug,我在使用時(shí)是沒遇見網(wǎng)上說法的運(yùn)行錯(cuò)誤的bug，但是在使用顯式等待時(shí)的確會(huì)遇見失效的現(xiàn)象，所以time.sleep出奇跡。
-
切換handle
#切換不同的tab頁 #driver.switch_to.window(window_name) #從A頁跳轉(zhuǎn)到B頁，句柄已經(jīng)切換過去，但是頁面焦點(diǎn)沒有切過去，所以需要switch_to.window，把焦點(diǎn)也切過去，才可以在當(dāng)前頁進(jìn)行操作。 #切換是思路，獲取所有的句柄，因?yàn)榉祷厥且粋€(gè)list，而且要切換的對(duì)象都是最新的，可以使用[-1]直接切過去 #例如： driver.switch_to.window(driver.window_handles[-1])``` -
切入iframe
與上面方法類似
切入：driver.switch_to.frame('xxx') iframe_list = self.driver.find_elements_by_tag_name('iframe') for iframe_item in iframe_list: self.driver.switch_to.frame(iframe_item) -
切入彈窗
切入：
driver.switch_to_alert() -
切出/回到原始頁面
使用與上面三種方法：
self.driver.switch_to.default_content() #返回原始driver -
頁面的刷新
我只是覺得很可能很多人不知道這個(gè)：
driver.refresh()
作者本人并不是特別建議在定點(diǎn)抓取類的爬蟲中使用selenium，主要原因是因?yàn)?strong>慢,selenium為了達(dá)到跨平臺(tái)跨瀏覽器的目的，采用了通過javascript來驅(qū)動(dòng)瀏覽器動(dòng)作的方法，而selenium為執(zhí)行速度依賴于瀏覽器對(duì)js的解析執(zhí)行速度，偏偏selenium無法很好的界定頁面加載情況（是加載完成還是在繼續(xù)執(zhí)行某些操作），成也蕭何敗也蕭何。
假如定點(diǎn)類抓取中想要執(zhí)行JavaScript,我本人是用PyV8，是一個(gè)Python封裝V8引擎的殼。能夠利用python來構(gòu)建出JavaScript的運(yùn)行時(shí)環(huán)境。不如后面的文章找一篇說下PyV8好了，大家周末愉快。
