1.selenium簡介

Selenium是一個用程序操作瀏覽器的工具，利用它可以實現(xiàn)瀏覽器自動化、自動化測試、輔助爬蟲等。

我們使用瀏覽器時的所有操作都是基于鼠標和鍵盤進行交互的，selenium就是用程序的形式來代替我們的鍵鼠操作，實現(xiàn)自動化的操作。

利用scrapy編寫爬蟲時，我們可以使用selenium來驅(qū)動瀏覽器加載頁面，獲取JavaScrapt渲染后的頁面HTML代碼，而無須考慮網(wǎng)頁的加載形式、接口是否加密等一系列復(fù)雜的問題。

2.selenium總覽

selenium

瀏覽器驅(qū)動

通過指定操作的瀏覽器驅(qū)動，我們可以通過selenium用代碼來操作瀏覽器。

image

元素定位

利用元素定位可以找到加載頁面中的任何對象，類似于我們查看加載的頁面，并找到我們的目標信息，以便執(zhí)行下一步的操作。

元素定位

瀏覽器操作

瀏覽器操作是針對瀏覽器客戶端的一些操作，如我們常用的最大化、最小化等。

image

操作測試對象

操作測試對象是我們在自動化測試中常用的一些方法，主要是對定位到的元素進行操作。

image

鍵盤事件

在操作測試對象中，send_keys( )中可以傳遞鍵盤事件，相當于我們按下一下特殊的按鍵。

鍵盤事件

鼠標事件

鼠標事件能夠用于執(zhí)行所有鼠標能夠完成的操作。

鼠標事件

窗口、框架切換

當打開多個網(wǎng)頁時，利用窗口、框架切換方法可以切換顯示網(wǎng)頁。

窗口切換

獲取斷言信息

image

cookie操作

在這里插入圖片描述

3.selenium應(yīng)用于爬蟲

selenium應(yīng)用于爬蟲，主要是為了解決scrapy無法解決的問題：獲取JavaScrapt渲染后的頁面HTML代碼。

在之前講解scrapy庫的文章中，我們了解到引擎于爬蟲之間存在一個下載器中間件，scrapy就是通過這種下載器中間件來下載網(wǎng)頁源碼的；但面對JavaScrapt渲染的網(wǎng)頁，這個下載器中間件就無能為力了，這時selenium就起到了替代下載器中間件的作用。

selenium在爬蟲中的主要應(yīng)用流程如下圖：

image

"""蘇寧易購查找iphone"""

from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from selenium import webdriver

driver = webdriver.Edge(executable_path='msedgedriver.exe')
driver.get('https://www.suning.com')

input = driver.find_element_by_id('searchKeywords')

input.clear
input.send_keys('iphone')
input.send_keys(Keys.RETURN)

wait = WebDriverWait(driver,10)
wait.until(EC.presence_of_element_located((By.CLASS_NAME,'root990')))
print(driver.page_source)

"""自動下拉頁面"""

from selenium import webdriver
import time

driver = webdriver.Edge(executable_path='msedgedriver.exe')
driver.get('https://www.suning.com/')
time.sleep(4)

input = driver.find_element_by_id('searchKeywords')
input.clear
input.send_keys('iphone')
input.send_keys(Keys.RETURN)
driver.execute_script('window.scrollTo(0,document.body.scrollHeight)')

"""定位元素"""

from selenium import webdriver

driver = webdriver.Edge(executable_path='msedgedriver.exe')
driver.get('https://www.suning.com/')

input_id = driver.find_element_by_id('searchKeywords')
input_name = driver.find_element_by_name('index1_none_search_ss2')
input_xpath = driver.find_element_by_xpath("http://input[@id='searchKeywords']")
input_css = driver.find_element_by_css_selector('#searchKeywords')
print(input_id,input_name,input_xpath,input_css)

"""等待頁面加載完成"""

from selenium import webdriver
from selenium.common.exceptions import TimeoutException

driver = webdriver.Edge(executable_path='msedgedriver.exe')

#設(shè)置頁面加載的超時時間
driver.set_page_load_timeout(5)
try:
    driver.get('https://www.suning.com/')
    driver.execute_script('window.scrollTo(0,document.body.scrollHeight)')
    print(driver.page_source)
except TimeoutException:
    print('timeout')
driver.quit()

"""隱式等待"""

from selenium import webdriver

driver = webdriver.Edge(executable_path='msedgedriver.exe')
driver.implicitly_wait(5)
driver.get("https://www.suning.com/")
print(driver.page_source)

"""顯示等待"""

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException

driver = webdriver.Edge(executable_path='msedgedriver.exe')
driver.get('https://www.suning.com/')

try:
    input = WebDriverWait(driver,10).until(EC.presence_of_element_located((By.ID,"searchKeywords")))
    print(input)
except TimeoutException:
    print('time out!')
driver.quit()

 scrapy框架只能爬取靜態(tài)網(wǎng)站，如需爬取動態(tài)網(wǎng)站，需要結(jié)合selenium庫進行js的渲染，方可爬取到動態(tài)頁面。

寫在最后

歡迎大家關(guān)注公眾號：人類之奴！
一起學習，一起進步！