Selenium是一個Web的自動化測試工具，最初是為網(wǎng)站自動化測試而開發(fā)的，類型像我們玩游戲用的按鍵精靈，可以按指定的命令自動操作，不同是Selenium 可以直接運行在瀏覽器上，它支持所有主流的瀏覽器（包括PhantomJS這些無界面的瀏覽器）。
Selenium 可以根據(jù)我們的指令，讓瀏覽器自動加載頁面，獲取需要的數(shù)據(jù)，甚至頁面截屏，或者判斷網(wǎng)站上某些動作是否發(fā)生。
Selenium 自己不帶瀏覽器，不支持瀏覽器的功能，它需要與第三方瀏覽器結(jié)合在一起才能使用。但是我們有時候需要讓它內(nèi)嵌在代碼中運行，所以我們可以用一個叫 PhantomJS 的工具代替真實的瀏覽器。

可以從 PyPI 網(wǎng)站下載 Selenium庫https://pypi.python.org/simple/selenium ，
也可以用第三方管理器 pip用命令安裝：sudo pip install selenium
Selenium 官方參考文檔：http://selenium-python.readthedocs.io/index.html

PhantomJS

PhantomJS 是一個基于Webkit的“無界面”(headless)瀏覽器，它會把網(wǎng)站加載到內(nèi)存并執(zhí)行頁面上的 JavaScript，因為不會展示圖形界面，所以運行起來比完整的瀏覽器要高效。

如果我們把 Selenium 和 PhantomJS 結(jié)合在一起，就可以運行一個非常強(qiáng)大的網(wǎng)絡(luò)爬蟲了，這個爬蟲可以處理 JavaScrip、Cookie、headers，以及任何我們真實用戶需要做的事情。

PhantomJS 是一個功能完善(雖然無界面)的瀏覽器而非一個 Python 庫，所以它不需要像 Python 的其他庫一樣安裝，但我們可以通過Selenium調(diào)用PhantomJS來直接使用。
PhantomJS 官方參考文檔：http://phantomjs.org/documentation
chrome/firefox 需要安裝驅(qū)動

安裝示例(Linux)：

下載PhantomJS：

wget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2

2.解壓并創(chuàng)建軟連接：

tar -xvjf phantomjs-2.1.1-linux-x86_64.tar.bz2 
sudo cp -R phantomjs-2.1.1-linux-x86_64 /usr/local/share/ 
sudo ln -sf /usr/local/share/phantomjs-2.1.1-linux-x86_64/bin/phantomjs /usr/local/bin/

快速入門

Selenium 庫里有個叫 WebDriver 的 API。WebDriver 有點兒像可以加載網(wǎng)站的瀏覽器，但是它也可以像 BeautifulSoup 或者其他 Selector 對象一樣用來查找頁面元素，與頁面上的元素進(jìn)行交互 (發(fā)送文本、點擊等)，以及執(zhí)行其他動作來運行網(wǎng)絡(luò)爬蟲。

# 導(dǎo)入 webdriver
from selenium import webdriver

# 調(diào)用環(huán)境變量指定的PhantomJS瀏覽器創(chuàng)建瀏覽器對象
driver = webdriver.PhantomJS()

# 如果沒有在環(huán)境變量指定PhantomJS位置
# driver = webdriver.PhantomJS(executable_path="/usr/local/bin/phantomjs"))

# get方法會一直等到頁面被完全加載，然后才會繼續(xù)程序，通常測試會在這里選擇 time.sleep(2)
driver.get("http://www.baidu.com/")

# 獲取頁面名為 wrapper的id標(biāo)簽的文本內(nèi)容
data = driver.find_element_by_id("wrapper").text

# 打印數(shù)據(jù)內(nèi)容
print data

# 打印頁面標(biāo)題 "百度一下，你就知道"
print driver.title

# 生成當(dāng)前頁面快照并保存
driver.save_screenshot("baidu.png")

# id="kw"是百度搜索輸入框，輸入字符串"長城"
driver.find_element_by_id("kw").send_keys(u"長城")

# id="su"是百度搜索按鈕，click() 是模擬點擊
driver.find_element_by_id("su").click()

# 獲取新的頁面快照
driver.save_screenshot("長城.png")

# 打印網(wǎng)頁渲染后的源代碼
print driver.page_source

# 獲取當(dāng)前頁面Cookie
print driver.get_cookies()

# 調(diào)用鍵盤按鍵操作時需要引入的Keys包
from selenium.webdriver.common.keys import Keys

# ctrl+a 全選輸入框內(nèi)容
driver.find_element_by_id("kw").send_keys(Keys.CONTROL,'a')

# ctrl+x 剪切輸入框內(nèi)容
driver.find_element_by_id("kw").send_keys(Keys.CONTROL,'x')

# 輸入框重新輸入內(nèi)容
driver.find_element_by_id("kw").send_keys("baidu")

# 模擬Enter回車鍵
driver.find_element_by_id("su").send_keys(Keys.RETURN)

# 清除輸入框內(nèi)容
driver.find_element_by_id("kw").clear()

# 生成新的頁面快照
driver.save_screenshot("baidu.png")

# 獲取當(dāng)前url
print driver.current_url

# 關(guān)閉當(dāng)前頁面，如果只有一個頁面，會關(guān)閉瀏覽器
# driver.close()

# 關(guān)閉瀏覽器
driver.quit()

頁面操作

Selenium 的 WebDriver提供了各種方法來尋找元素，假設(shè)下面有一個表單輸入框：

<input type="text" name="user-name" id="passwd-id" />

那么：

# 獲取id標(biāo)簽值
element = driver.find_element_by_id("passwd-id")
# 獲取name標(biāo)簽值
element = driver.find_element_by_name("user-name")
# 獲取標(biāo)簽名值
element = driver.find_elements_by_tag_name("input")
# 也可以通過XPath來匹配
element = driver.find_element_by_xpath("http://input[@id='passwd-id']")

定位UI元素 (WebElements)

關(guān)于元素的選取，有如下的API 單個元素選取

find_element_by_id
find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector

By ID

<div id="coolestWidgetEvah">...</div>

實現(xiàn):

element = driver.find_element_by_id("coolestWidgetEvah")
------------------------ or -------------------------
from selenium.webdriver.common.by import By
element = driver.find_element(by=By.ID, value="coolestWidgetEvah")

By Class Name

<div class="cheese"><span>Cheddar</span></div><div class="cheese"><span>Gouda</span></div>

實現(xiàn):

cheeses = driver.find_elements_by_class_name("cheese")
------------------------ or -------------------------
from selenium.webdriver.common.by import By
cheeses = driver.find_elements(By.CLASS_NAME, "cheese")

By Tag Name

<iframe src="..."></iframe>

實現(xiàn):

frame = driver.find_element_by_tag_name("iframe")
------------------------ or -------------------------
from selenium.webdriver.common.by import By
frame = driver.find_element(By.TAG_NAME, "iframe")

By Name

<input name="cheese" type="text"/>

實現(xiàn):

cheese = driver.find_element_by_name("cheese")
------------------------ or -------------------------
from selenium.webdriver.common.by import By
cheese = driver.find_element(By.NAME, "cheese")

By Link Text

<a >cheese</a>

實現(xiàn):

cheese = driver.find_element_by_link_text("cheese")
------------------------ or -------------------------
from selenium.webdriver.common.by import By
cheese = driver.find_element(By.LINK_TEXT, "cheese")

By Partial Link Text

<a >search for cheese</a>>

實現(xiàn):

cheese = driver.find_element_by_partial_link_text("cheese")
------------------------ or -------------------------
from selenium.webdriver.common.by import By
cheese = driver.find_element(By.PARTIAL_LINK_TEXT, "cheese")

By CSS

<div id="food"><span class="dairy">milk</span><span class="dairy aged">cheese</span></div>

實現(xiàn):

cheese = driver.find_element_by_css_selector("#food span.dairy.aged")
------------------------ or -------------------------
from selenium.webdriver.common.by import By
cheese = driver.find_element(By.CSS_SELECTOR, "#food span.dairy.aged")

By XPath

<input type="text" name="example" />
<INPUT type="text" name="other" />

實現(xiàn):

inputs = driver.find_elements_by_xpath("http://input")
------------------------ or -------------------------
from selenium.webdriver.common.by import By
inputs = driver.find_elements(By.XPATH, "http://input")

鼠標(biāo)動作鏈

有些時候，我們需要再頁面上模擬一些鼠標(biāo)操作，比如雙擊、右擊、拖拽甚至按住不動等，我們可以通過導(dǎo)入 ActionChains 類來做到：

#導(dǎo)入 ActionChains 類
from selenium.webdriver import ActionChains

# 鼠標(biāo)移動到 ac 位置
ac = driver.find_element_by_xpath('element')
ActionChains(driver).move_to_element(ac).perform()

# 在 ac 位置單擊
ac = driver.find_element_by_xpath("elementA")
ActionChains(driver).move_to_element(ac).click(ac).perform()

# 在 ac 位置雙擊
ac = driver.find_element_by_xpath("elementB")
ActionChains(driver).move_to_element(ac).double_click(ac).perform()

# 在 ac 位置右擊
ac = driver.find_element_by_xpath("elementC")
ActionChains(driver).move_to_element(ac).context_click(ac).perform()

# 在 ac 位置左鍵單擊hold住
ac = driver.find_element_by_xpath('elementF')
ActionChains(driver).move_to_element(ac).click_and_hold(ac).perform()

# 將 ac1 拖拽到 ac2 位置
ac1 = driver.find_element_by_xpath('elementD')
ac2 = driver.find_element_by_xpath('elementE')
ActionChains(driver).drag_and_drop(ac1, ac2).perform()

填充表單

我們已經(jīng)知道了怎樣向文本框中輸入文字，但是有時候我們會碰到<select> </select>標(biāo)簽的下拉框。直接點擊下拉框中的選項不一定可行。

<select id="status" class="form-control valid" onchange="" name="status">
    <option value=""></option>
    <option value="0">未審核</option>
    <option value="1">初審?fù)ㄟ^</option>
    <option value="2">復(fù)審?fù)ㄟ^</option>
    <option value="3">審核不通過</option>
</select>

image

Selenium專門提供了Select類來處理下拉框。其實 WebDriver 中提供了一個叫 Select 的方法，可以幫助我們完成這些事情：

# 導(dǎo)入 Select 類
from selenium.webdriver.support.ui import Select

# 找到 name 的選項卡
select = Select(driver.find_element_by_name('status'))

# 
select.select_by_index(1)
select.select_by_value("0")
select.select_by_visible_text(u"未審核")

以上是三種選擇下拉框的方式，它可以根據(jù)索引來選擇，可以根據(jù)值來選擇，可以根據(jù)文字來選擇。注意：

index 索引從 0 開始
value是option標(biāo)簽的一個屬性值，并不是顯示在下拉框中的值
visible_text是在option標(biāo)簽文本的值，是顯示在下拉框的值

全部取消選擇怎么辦呢？很簡單::

select.deselect_all()

彈窗處理

當(dāng)你觸發(fā)了某個事件之后，頁面出現(xiàn)了彈窗提示，處理這個提示或者獲取提示信息方法如下：

alert = driver.switch_to_alert()

頁面切換

一個瀏覽器肯定會有很多窗口，所以我們肯定要有方法來實現(xiàn)窗口的切換。切換窗口的方法如下：

driver.switch_to.window("this is window name")

也可以使用 window_handles 方法來獲取每個窗口的操作對象。例如：

for handle in driver.window_handles:
    driver.switch_to_window(handle)

頁面前進(jìn)和后退

操作頁面的前進(jìn)和后退功能：

driver.forward()     #前進(jìn)
driver.back()        # 后退

Cookies

獲取頁面每個Cookies值，用法如下

for cookie in driver.get_cookies():
    print "%s=%s;" % (cookie['name'], cookie['value'])

刪除Cookies，用法如下

# By name
driver.delete_cookie("BAIDUID")

# all
driver.delete_all_cookies()

執(zhí)行 JavaScript 語句

1. 隱藏百度圖片

from selenium import webdriver

driver = webdriver.PhantomJS()
driver.get("https://www.baidu.com/")

# 給搜索輸入框標(biāo)紅的javascript腳本
js = "var q=document.getElementById(\"kw\");q.style.border=\"2px solid red\";"

# 調(diào)用給搜索輸入框標(biāo)紅js腳本
driver.execute_script(js)

#查看頁面快照
driver.save_screenshot("redbaidu.png")

#js隱藏元素，將獲取的圖片元素隱藏
img = driver.find_element_by_xpath("http://*[@id='lg']/img")
driver.execute_script('$(arguments[0]).fadeOut()',img)

# 向下滾動到頁面底部
driver.execute_script("$('.scroll_top').click(function(){$('html,body').animate({scrollTop: '0px'}, 800);});")

#查看頁面快照
driver.save_screenshot("nullbaidu.png")

driver.quit()

1. 模擬滾動條滾動到底部

from selenium import webdriver
import time

driver = webdriver.PhantomJS()
driver.get("https://movie.douban.com/typerank?type_name=劇情&type=11&interval_id=100:90&action=")

# 向下滾動10000像素
js = "document.body.scrollTop=10000"
#js="var q=document.documentElement.scrollTop=10000"
time.sleep(3)

#查看頁面快照
driver.save_screenshot("douban.png")

# 執(zhí)行JS語句
driver.execute_script(js)
time.sleep(10)

#查看頁面快照
driver.save_screenshot("newdouban.png")

driver.quit()

頁面等待

現(xiàn)在的網(wǎng)頁越來越多采用了 Ajax 技術(shù)，這樣程序便不能確定何時某個元素完全加載出來了。如果實際頁面等待時間過長導(dǎo)致某個dom元素還沒出來，但是你的代碼直接使用了這個WebElement，那么就會拋出NullPointer的異常。

為了避免這種元素定位困難而且會提高產(chǎn)生 ElementNotVisibleException 的概率。所以 Selenium 提供了兩種等待方式，一種是隱式等待，一種是顯式等待。

隱式等待是等待特定的時間，顯式等待是指定某一條件直到這個條件成立時繼續(xù)執(zhí)行。

顯式等待

顯式等待指定某個條件，然后設(shè)置最長等待時間。如果在這個時間還沒有找到元素，那么便會拋出異常了。

from selenium import webdriver
from selenium.webdriver.common.by import By
# WebDriverWait 庫，負(fù)責(zé)循環(huán)等待
from selenium.webdriver.support.ui import WebDriverWait
# expected_conditions 類，負(fù)責(zé)條件出發(fā)
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.PhantomJS()
driver.get("http://www.xxxxx.com/loading")
try:
    # 每隔10秒查找頁面元素 id="myDynamicElement"，直到出現(xiàn)則返回
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.ID, "myDynamicElement"))
    )
finally:
    driver.quit()

配合使用的 until() 或者 until_not() 方法說明：

until(method, message='')
調(diào)用該方法體提供的回調(diào)函數(shù)作為一個參數(shù)，直到返回值為True

until_not(method, message='')
調(diào)用該方法體提供的回調(diào)函數(shù)作為一個參數(shù)，直到返回值為False

如果不寫參數(shù)，程序默認(rèn)會 0.5s 調(diào)用一次來查看元素是否已經(jīng)生成，如果本來元素就是存在的，那么會立即返回。

下面是一些內(nèi)置的等待條件，你可以直接調(diào)用這些條件，而不用自己寫某些等待條件了。

title_is：判斷當(dāng)前頁面的title是否等于預(yù)期

title_contains：判斷當(dāng)前頁面的title是否包含預(yù)期字符串

presence_of_element_located：判斷某個元素是否被加到了dom樹里，并不代表該元素一定可見

visibility_of_element_located：判斷某個元素是否可見. 可見代表元素非隱藏，并且元素的寬和高都不等于0

visibility_of：跟上面的方法做一樣的事情，只是上面的方法要傳入locator，這個方法直接傳定位到的element就好了

presence_of_all_elements_located：判斷是否至少有1個元素存在于dom樹中。舉個例子，如果頁面上有n個元素的class都是'column-md-3'，那么只要有1個元素存在，這個方法就返回True

text_to_be_present_in_element：判斷某個元素中的text是否包含了預(yù)期的字符串

text_to_be_present_in_element_value：判斷某個元素中的value屬性是否包含了預(yù)期的字符串

frame_to_be_available_and_switch_to_it：判斷該frame是否可以switch進(jìn)去，如果可以的話，返回True并且switch進(jìn)去，否則返回False

invisibility_of_element_located：判斷某個元素中是否不存在于dom樹或不可見

element_to_be_clickable - it is Displayed and Enabled：判斷某個元素中是否可見并且是enable的，這樣的話才叫clickable

staleness_of：等某個元素從dom樹中移除，注意，這個方法也是返回True或False

element_to_be_selected：判斷某個元素是否被選中了,一般用在下拉列表

element_located_to_be_selected 元素可選擇，傳入定位元組

element_selection_state_to_be：判斷某個元素的選中狀態(tài)是否符合預(yù)期

element_located_selection_state_to_be：跟上面的方法作用一樣，只是上面的方法傳入定位到的element，而這個方法傳入locator

alert_is_present：判斷頁面上是否存在alert

隱式等待

隱式等待比較簡單，就是簡單地設(shè)置一個等待時間，單位為秒。

from selenium import webdriver

driver = webdriver.PhantomJS()
driver.implicitly_wait(10) # seconds
driver.get("http://www.xxxxx.com/loading")
myDynamicElement = driver.find_element_by_id("myDynamicElement")

當(dāng)然如果不設(shè)置，默認(rèn)等待時間為0。

來源：塵世gu行
鏈接：http://www.itdecent.cn/p/4b89c92ff9b4

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

Python之Selenium+PhantomJS使用詳解

Python之Selenium+PhantomJS使用詳解

PhantomJS

安裝示例(Linux)：

快速入門

頁面操作

定位UI元素 (WebElements)

By ID

By Class Name

By Tag Name

By Name

By Link Text

By Partial Link Text

By CSS

By XPath

鼠標(biāo)動作鏈

填充表單

彈窗處理

頁面切換

頁面前進(jìn)和后退

Cookies

執(zhí)行 JavaScript 語句

頁面等待

顯式等待

隱式等待

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九 欧美,1769亚洲,黄色成人av

Python之Selenium+PhantomJS使用詳解

PhantomJS

安裝示例(Linux)：

快速入門

頁面操作

定位UI元素 (WebElements)

By ID

By Class Name

By Tag Name

By Name

By Link Text

By Partial Link Text

By CSS

By XPath

鼠標(biāo)動作鏈

填充表單

彈窗處理

頁面切換

頁面前進(jìn)和后退

Cookies

執(zhí)行 JavaScript 語句

頁面等待

顯式等待

隱式等待

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av