selenium初探
selenium簡(jiǎn)介與安裝
簡(jiǎn)介
selenium是一個(gè)網(wǎng)站的自動(dòng)化測(cè)試庫(kù)，但由于其具有大量的自動(dòng)化庫(kù)而且可以調(diào)用瀏覽器，常常被用于爬蟲(chóng)技術(shù)。也正是因?yàn)槠涫钦{(diào)用瀏覽器的，這幾乎成了一個(gè)無(wú)解的爬蟲(chóng)。在神經(jīng)網(wǎng)絡(luò)領(lǐng)域需要大量的數(shù)據(jù)集，爬蟲(chóng)是一種快速獲得數(shù)據(jù)的方法，這也正是我學(xué)習(xí)這個(gè)庫(kù)的動(dòng)機(jī)
安裝
selenium安裝
使用pip install -U selenium即可
Diver安裝
selenium要調(diào)用各種瀏覽器需要對(duì)應(yīng)的瀏覽器driver，我將使用chrome測(cè)試，測(cè)試成功后轉(zhuǎn)為無(wú)界面的PhontomJS。使用Chrome需要將對(duì)應(yīng)的driver下載后復(fù)制到Python的安裝文件夾下，使用PhontomJS則直接將.exe文件復(fù)制到Python安裝文件夾下即可
selenium基本操作
瀏覽器操作
導(dǎo)入庫(kù)
from selenium import webdriver
打開(kāi)瀏覽器
driver = webdriver.PhantomJS() #打開(kāi)PhantomJS瀏覽器
driver = webdriver.Chrome() #打開(kāi)Chrome瀏覽器
訪問(wèn)網(wǎng)頁(yè)
driver.get(url)
訪問(wèn)網(wǎng)址為url的網(wǎng)站，若使用Chrome將看到打開(kāi)的瀏覽器跳轉(zhuǎn)到指定的url
交互操作
獲得表單元素
name_field = driver.find_element_by_id("username")
submit_button = driver.find_element_by_tag_name("button")
submit_button = driver.find_elements_by_link_text("教務(wù)系統(tǒng)")
根據(jù)元素id，類型和超鏈接名稱獲取元素，除了以上的方法，還有
- find_element_by_id
- find_element_by_name
- find_element_by_xpath
- find_element_by_link_text
- find_element_by_partial_link_text
- find_element_by_tag_name
- find_element_by_class_name
- find_element_by_css_selector
還有獲取多個(gè)元素的方法：
- find_elements_by_name
- find_elements_by_xpath
- find_elements_by_link_text
- find_elements_by_partial_link_text
- find_elements_by_tag_name
- find_elements_by_class_name
- find_elements_by_css_selector
輸入表單數(shù)據(jù)
name_field = driver.find_element_by_id('loginName')
name_field.send_keys('...')
獲取元素后使用send_keys()方法輸入數(shù)據(jù)
點(diǎn)擊按鈕或超鏈接
submit_button = driver.find_element_by_id('loginAction')
submit_button.click()
獲取元素后使用click()方法點(diǎn)擊按鈕
