一、Selenium概述

? ? 嚴格來說Selenium是自動化測試工具，該庫提供調(diào)用打開瀏覽器的功能，并能夠通過代碼來控制一切瀏覽器的行為。比較重要的一點是，我們可以在代碼中來訪問瀏覽器內(nèi)的一切數(shù)據(jù)，模擬一切瀏覽器用戶行為。這樣為爬蟲的開發(fā)帶來了大大的方便之處。

? ? 有的同學可能會說使用Scrapy等開源框架后臺直接download html源碼不是更快更便捷嗎，甚至都不用打開網(wǎng)頁。但是，事實是有一些網(wǎng)站的數(shù)據(jù)是動態(tài)生成的，又比如有很多數(shù)據(jù)需要拉動滾動條來生成，這樣的網(wǎng)頁，我們使用selenium能夠很容幾行代碼輕松搞定。

? ? 下面進入安裝環(huán)節(jié)。

二、Python環(huán)境下Selenium的安裝

? ? 首先安裝pip，如果安裝過了pip，請?zhí)^這一步。（這個環(huán)境是windows下，如果是linux要簡單得多。）

1.安裝pip

輸入網(wǎng)址：

https://pypi.python.org/pypi/pip#downloads ：

進入網(wǎng)站后點擊下載文件，并解壓到一個目錄下。

進入網(wǎng)站下載pip壓縮包

下載完成之后，解壓到一個文件夾，用CMD控制臺進入解壓目錄，輸入：

python setup.py install

輸入命令個安裝pip

這樣pip就安裝好了。

2、安裝Selenium

打開命令行工具，進入python編輯環(huán)境，輸入命令：

pip install selenium

安裝selenium

這樣selenium就安裝完成了。

為了在代碼中使用selenium調(diào)用瀏覽器，還需要安裝瀏覽器driver，這里我安裝chrome的driver。

3.安裝chrome driver

下載地址：

https://sites.google.com/a/chromium.org/chromedriver/downloads

將下載下來的exe文件放到chrome的安裝目錄下，并將該目錄添加到環(huán)境變量path中。

至此安裝全部完成。