1.Selenium

Selenium是一個(gè)Web的自動(dòng)化測(cè)試工具，最初是為網(wǎng)站自動(dòng)化測(cè)試而開(kāi)發(fā)的，類型像我們玩游戲用的按鍵精靈，可以按指定的命令自動(dòng)操作，不同是Selenium 可以直接運(yùn)行在瀏覽器上，它支持所有主流的瀏覽器（包括PhantomJS這些無(wú)界面的瀏覽器）。

Selenium 可以根據(jù)我們的指令，讓瀏覽器自動(dòng)加載頁(yè)面，獲取需要的數(shù)據(jù)，甚至頁(yè)面截屏，或者判斷網(wǎng)站上某些動(dòng)作是否發(fā)生。

Selenium 自己不帶瀏覽器，不支持瀏覽器的功能，它需要與第三方瀏覽器結(jié)合在一起才能使用。但是我們有時(shí)候需要讓它內(nèi)嵌在代碼中運(yùn)行，所以我們可以用一個(gè)叫 PhantomJS 的工具代替真實(shí)的瀏覽器。

可以從 PyPI 網(wǎng)站下載 Selenium庫(kù)https://pypi.python.org/simple/selenium ，也可以用第三方管理器 pip用命令安裝：pip install selenium

Selenium 官方參考文檔：http://selenium-python.readthedocs.io/index.html

2.PhantomJS

PhantomJS 是一個(gè)基于Webkit的“無(wú)界面”(headless)瀏覽器，它會(huì)把網(wǎng)站加載到內(nèi)存并執(zhí)行頁(yè)面上的 JavaScript，因?yàn)椴粫?huì)展示圖形界面，所以運(yùn)行起來(lái)比完整的瀏覽器要高效。

如果我們把 Selenium 和 PhantomJS 結(jié)合在一起，就可以運(yùn)行一個(gè)非常強(qiáng)大的網(wǎng)絡(luò)爬蟲(chóng)了，這個(gè)爬蟲(chóng)可以處理 JavaScrip、Cookie、headers，以及任何我們真實(shí)用戶需要做的事情。

注意：PhantomJS 只能從它的官方網(wǎng)站http://phantomjs.org/download.html) 下載。因?yàn)?PhantomJS 是一個(gè)功能完善(雖然無(wú)界面)的瀏覽器而非一個(gè) Python 庫(kù)，所以它不需要像 Python 的其他庫(kù)一樣安裝，但我們可以通過(guò)Selenium調(diào)用PhantomJS來(lái)直接使用。

PhantomJS 官方參考文檔：http://phantomjs.org/documentation

3.快速入門

Selenium 庫(kù)里有個(gè)叫 WebDriver 的 API。WebDriver 有點(diǎn)兒像可以加載網(wǎng)站的瀏覽器，但是它也可以像 BeautifulSoup 或者其他 Selector 對(duì)象一樣用來(lái)查找頁(yè)面元素，與頁(yè)面上的元素進(jìn)行交互 (發(fā)送文本、點(diǎn)擊等)，以及執(zhí)行其他動(dòng)作來(lái)運(yùn)行網(wǎng)絡(luò)爬蟲(chóng)。

# IPython2 測(cè)試代碼

# 導(dǎo)入 webdriver
from selenium import webdriver

# 要想調(diào)用鍵盤按鍵操作需要引入keys包
from selenium.webdriver.common.keys import Keys

# 調(diào)用環(huán)境變量指定的PhantomJS瀏覽器創(chuàng)建瀏覽器對(duì)象
driver = webdriver.PhantomJS()

# 如果沒(méi)有在環(huán)境變量指定PhantomJS位置
# driver = webdriver.PhantomJS(executable_path="./phantomjs"))

# get方法會(huì)一直等到頁(yè)面被完全加載，然后才會(huì)繼續(xù)程序，通常測(cè)試會(huì)在這里選擇 time.sleep(2)
driver.get("http://www.baidu.com/")

# 獲取頁(yè)面名為 wrapper的id標(biāo)簽的文本內(nèi)容
data = driver.find_element_by_id("wrapper").text

# 打印數(shù)據(jù)內(nèi)容
print data

# 打印頁(yè)面標(biāo)題 "百度一下，你就知道"
print driver.title

# 生成當(dāng)前頁(yè)面快照并保存
driver.save_screenshot("baidu.png")

# id="kw"是百度搜索輸入框，輸入字符串"長(zhǎng)城"
driver.find_element_by_id("kw").send_keys(u"長(zhǎng)城")

# id="su"是百度搜索按鈕，click() 是模擬點(diǎn)擊
driver.find_element_by_id("su").click()

# 獲取新的頁(yè)面快照
driver.save_screenshot("長(zhǎng)城.png")

# 打印網(wǎng)頁(yè)渲染后的源代碼
print driver.page_source

# 獲取當(dāng)前頁(yè)面Cookie
print driver.get_cookies()

# ctrl+a 全選輸入框內(nèi)容
driver.find_element_by_id("kw").send_keys(Keys.CONTROL,'a')

# ctrl+x 剪切輸入框內(nèi)容
driver.find_element_by_id("kw").send_keys(Keys.CONTROL,'x')

# 輸入框重新輸入內(nèi)容
driver.find_element_by_id("kw").send_keys("itcast")

# 模擬Enter回車鍵
driver.find_element_by_id("su").send_keys(Keys.RETURN)

# 清除輸入框內(nèi)容
driver.find_element_by_id("kw").clear()

# 生成新的頁(yè)面快照
driver.save_screenshot("itcast.png")

# 獲取當(dāng)前url
print driver.current_url

# 關(guān)閉當(dāng)前頁(yè)面，如果只有一個(gè)頁(yè)面，會(huì)關(guān)閉瀏覽器
# driver.close()

# 關(guān)閉瀏覽器
driver.quit()

4.頁(yè)面操作

Selenium 的 WebDriver提供了各種方法來(lái)尋找元素，假設(shè)下面有一個(gè)表單輸入框：

<input type="text" name="user-name" id="passwd-id" />

那么：

# 獲取id標(biāo)簽值
element = driver.find_element_by_id("passwd-id")
# 獲取name標(biāo)簽值
element = driver.find_element_by_name("user-name")
# 獲取標(biāo)簽名值
element = driver.find_elements_by_tag_name("input")
# 也可以通過(guò)XPath來(lái)匹配
element = driver.find_element_by_xpath("http://input[@id='passwd-id']")

5.定位UI元素 (WebElements)

關(guān)于元素的選取，有如下的API 單個(gè)元素選取

find_element_by_id
find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector

1.By ID

<div id="coolestWidgetEvah">...</div>

實(shí)現(xiàn)

element = driver.find_element_by_id("coolestWidgetEvah")
------------------------ or -------------------------
from selenium.webdriver.common.by import By
element = driver.find_element(by=By.ID, value="coolestWidgetEvah")

By Class Name

<div class="cheese"><span>Cheddar</span></div><div class="cheese"><span>Gouda</span></div>

cheeses = driver.find_elements_by_class_name("cheese")
------------------------ or -------------------------
from selenium.webdriver.common.by import By
cheeses = driver.find_elements(By.CLASS_NAME, "cheese")

2.By Tag Name

<iframe src="..."></iframe>

實(shí)現(xiàn)

frame = driver.find_element_by_tag_name("iframe")
------------------------ or -------------------------
from selenium.webdriver.common.by import By
frame = driver.find_element(By.TAG_NAME, "iframe")

3.By Name

<input name="cheese" type="text"/>

實(shí)現(xiàn)

cheese = driver.find_element_by_name("cheese")
------------------------ or -------------------------
from selenium.webdriver.common.by import By
cheese = driver.find_element(By.NAME, "cheese")

4.By Link Text

<a >cheese</a>

實(shí)現(xiàn)

cheese = driver.find_element_by_link_text("cheese")
------------------------ or -------------------------
from selenium.webdriver.common.by import By
cheese = driver.find_element(By.LINK_TEXT, "cheese")

5.By Partial Link Text

<a >search for cheese</a>>

實(shí)現(xiàn)

cheese = driver.find_element_by_partial_link_text("cheese")
------------------------ or -------------------------
from selenium.webdriver.common.by import By
cheese = driver.find_element(By.PARTIAL_LINK_TEXT, "cheese")

6.By CSS

<div id="food"><span class="dairy">milk</span><span class="dairy aged">cheese</span></div>

實(shí)現(xiàn)

cheese = driver.find_element_by_css_selector("#food span.dairy.aged")
------------------------ or -------------------------
from selenium.webdriver.common.by import By
cheese = driver.find_element(By.CSS_SELECTOR, "#food span.dairy.aged")

7.By XPath

<input type="text" name="example" /> <INPUT type="text" name="other" />

實(shí)現(xiàn)

inputs = driver.find_elements_by_xpath("http://input")
------------------------ or -------------------------
from selenium.webdriver.common.by import By
inputs = driver.find_elements(By.XPATH, "http://input")

6.鼠標(biāo)動(dòng)作鏈

有些時(shí)候，我們需要再頁(yè)面上模擬一些鼠標(biāo)操作，比如雙擊、右擊、拖拽甚至按住不動(dòng)等，我們可以通過(guò)導(dǎo)入 ActionChains 類來(lái)做到：

#導(dǎo)入 ActionChains 類
from selenium.webdriver import ActionChains

# 鼠標(biāo)移動(dòng)到 ac 位置
ac = driver.find_element_by_xpath('element')
ActionChains(driver).move_to_element(ac).perform()


# 在 ac 位置單擊
ac = driver.find_element_by_xpath("elementA")
ActionChains(driver).move_to_element(ac).click(ac).perform()

# 在 ac 位置雙擊
ac = driver.find_element_by_xpath("elementB")
ActionChains(driver).move_to_element(ac).double_click(ac).perform()

# 在 ac 位置右擊
ac = driver.find_element_by_xpath("elementC")
ActionChains(driver).move_to_element(ac).context_click(ac).perform()

# 在 ac 位置左鍵單擊hold住
ac = driver.find_element_by_xpath('elementF')
ActionChains(driver).move_to_element(ac).click_and_hold(ac).perform()

# 將 ac1 拖拽到 ac2 位置
ac1 = driver.find_element_by_xpath('elementD')
ac2 = driver.find_element_by_xpath('elementE')
ActionChains(driver).drag_and_drop(ac1, ac2).perform()

7.填充表單

我們已經(jīng)知道了怎樣向文本框中輸入文字，但是有時(shí)候我們會(huì)碰到<select> </select>標(biāo)簽的下拉框。直接點(diǎn)擊下拉框中的選項(xiàng)不一定可行。

<select id="status" class="form-control valid" onchange="" name="status">
    <option value=""></option>
    <option value="0">未審核</option>
    <option value="1">初審?fù)ㄟ^(guò)</option>
    <option value="2">復(fù)審?fù)ㄟ^(guò)</option>
    <option value="3">審核不通過(guò)</option>
</select>

Selenium專門提供了Select類來(lái)處理下拉框。其實(shí) WebDriver 中提供了一個(gè)叫 Select 的方法，可以幫助我們完成這些事情：

# 導(dǎo)入 Select 類
from selenium.webdriver.support.ui import Select

# 找到 name 的選項(xiàng)卡
select = Select(driver.find_element_by_name('status'))

# 
select.select_by_index(1)
select.select_by_value("0")
select.select_by_visible_text(u"未審核")

以上是三種選擇下拉框的方式，它可以根據(jù)索引來(lái)選擇，可以根據(jù)值來(lái)選擇，可以根據(jù)文字來(lái)選擇。注意：

index 索引從 0 開(kāi)始

value是option標(biāo)簽的一個(gè)屬性值，并不是顯示在下拉框中的值

visible_text是在option標(biāo)簽文本的值，是顯示在下拉框的值
全部取消選擇怎么辦呢？很簡(jiǎn)單:
select.deselect_all()

8.彈窗處理

當(dāng)你觸發(fā)了某個(gè)事件之后，頁(yè)面出現(xiàn)了彈窗提示，處理這個(gè)提示或者獲取提示信息方法如下：
alert = driver.switch_to_alert()

9.頁(yè)面切換

一個(gè)瀏覽器肯定會(huì)有很多窗口，所以我們肯定要有方法來(lái)實(shí)現(xiàn)窗口的切換。切換窗口的方法如下：
driver.switch_to.window("this is window name")
也可以使用 window_handles 方法來(lái)獲取每個(gè)窗口的操作對(duì)象。例如：

for handle in driver.window_handles:
    driver.switch_to_window(handle)

10.頁(yè)面前進(jìn)和后退

操作頁(yè)面的前進(jìn)和后退功能：

driver.forward()     #前進(jìn)
driver.back()        # 后退

11.Cookies

獲取頁(yè)面每個(gè)Cookies值，用法如下

for cookie in driver.get_cookies():
    print "%s -> %s" % (cookie['name'], cookie['value'])

刪除Cookies，用法如下

# By name
driver.delete_cookie("CookieName")

# all
driver.delete_all_cookies()

12.頁(yè)面等待

現(xiàn)在的網(wǎng)頁(yè)越來(lái)越多采用了 Ajax 技術(shù)，這樣程序便不能確定何時(shí)某個(gè)元素完全加載出來(lái)了。如果實(shí)際頁(yè)面等待時(shí)間過(guò)長(zhǎng)導(dǎo)致某個(gè)dom元素還沒(méi)出來(lái)，但是你的代碼直接使用了這個(gè)WebElement，那么就會(huì)拋出NullPointer的異常。

為了避免這種元素定位困難而且會(huì)提高產(chǎn)生 ElementNotVisibleException 的概率。所以 Selenium 提供了兩種等待方式，一種是隱式等待，一種是顯式等待。

隱式等待是等待特定的時(shí)間，顯式等待是指定某一條件直到這個(gè)條件成立時(shí)繼續(xù)執(zhí)行。

1.顯式等待

顯式等待指定某個(gè)條件，然后設(shè)置最長(zhǎng)等待時(shí)間。如果在這個(gè)時(shí)間還沒(méi)有找到元素，那么便會(huì)拋出異常了。

from selenium import webdriver
from selenium.webdriver.common.by import By
# WebDriverWait 庫(kù)，負(fù)責(zé)循環(huán)等待
from selenium.webdriver.support.ui import WebDriverWait
# expected_conditions 類，負(fù)責(zé)條件出發(fā)
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.get("http://www.xxxxx.com/loading")
try:
    # 頁(yè)面一直循環(huán)，直到 id="myDynamicElement" 出現(xiàn)
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.ID, "myDynamicElement"))
    )
finally:
    driver.quit()

如果不寫(xiě)參數(shù)，程序默認(rèn)會(huì) 0.5s 調(diào)用一次來(lái)查看元素是否已經(jīng)生成，如果本來(lái)元素就是存在的，那么會(huì)立即返回。

下面是一些內(nèi)置的等待條件，你可以直接調(diào)用這些條件，而不用自己寫(xiě)某些等待條件了。

title_is
title_contains
presence_of_element_located
visibility_of_element_located
visibility_of
presence_of_all_elements_located
text_to_be_present_in_element
text_to_be_present_in_element_value
frame_to_be_available_and_switch_to_it
invisibility_of_element_located
element_to_be_clickable – it is Displayed and Enabled.
staleness_of
element_to_be_selected
element_located_to_be_selected
element_selection_state_to_be
element_located_selection_state_to_be
alert_is_present

隱式等待
隱式等待比較簡(jiǎn)單，就是簡(jiǎn)單地設(shè)置一個(gè)等待時(shí)間，單位為秒。

from selenium import webdriver

driver = webdriver.Chrome()
driver.implicitly_wait(10) # seconds
driver.get("http://www.xxxxx.com/loading")
myDynamicElement = driver.find_element_by_id("myDynamicElement")

當(dāng)然如果不設(shè)置，默認(rèn)等待時(shí)間為0。

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

Selenium與PhantomJS

Selenium與PhantomJS

1.Selenium

2.PhantomJS

3.快速入門

4.頁(yè)面操作

5.定位UI元素 (WebElements)

1.By ID

2.By Tag Name

3.By Name

4.By Link Text

5.By Partial Link Text

6.By CSS

7.By XPath

6.鼠標(biāo)動(dòng)作鏈

7.填充表單

8.彈窗處理

9.頁(yè)面切換

10.頁(yè)面前進(jìn)和后退

11.Cookies

12.頁(yè)面等待

1.顯式等待

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九 欧美,1769亚洲,黄色成人av

Selenium與PhantomJS

1.Selenium

2.PhantomJS

3.快速入門

4.頁(yè)面操作

5.定位UI元素 (WebElements)

1.By ID

2.By Tag Name

3.By Name

4.By Link Text

5.By Partial Link Text

6.By CSS

7.By XPath

6.鼠標(biāo)動(dòng)作鏈

7.填充表單

8.彈窗處理

9.頁(yè)面切換

10.頁(yè)面前進(jìn)和后退

11.Cookies

12.頁(yè)面等待

1.顯式等待

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av