爬蟲需要安裝第三方庫，requests、Selenium

（以下均只展示W(wǎng)indows系統(tǒng)下的操作）

1. 安裝requests

pip install requests

requests 一個阻塞式HTTP請求庫。

2. 安裝Selenium

pip install selenium

Selenium 是一個自動化測試工具

(1) 官網(wǎng)下載ChromeDriver: ChromeDriver

隨后再在程序中測試。執(zhí)行如下Python 代碼：

from selenium import webdriver

browser = webdriver.Chrome()

運行后，出現(xiàn)一個空白的Chrome 瀏覽器

(2) Geckodriver安裝：geckodriver

隨后再在程序中測試。執(zhí)行如下Python 代碼：

from selenium import webdriver

browser = webdriver.Firefox()

運行后，出現(xiàn)一個空白的Firefox 瀏覽器

3.安裝PhantomJS

PhantomJS 是一個無界面的、可腳本編程的Web Kit 瀏覽器引擎，它原生支持多種Web 標準： DOM操作、css 選擇器、JSON 、Canvas 以及SVG 。

在Selenium 中使用的話，我們只需要將Chrome 切換為PhantomJS 即可：

from selenium import webdriver

browser = webdriver. PhantomJS()

browser.get("https://www.baidu.com")

print(browser.current_url)

4.安裝aiohttp

pip install aiohttp

Robots協(xié)議：規(guī)定了網(wǎng)站哪些數(shù)據(jù)不可以別爬蟲。

查看網(wǎng)站的robots協(xié)議，如淘寶：

https://www.taobo.com/robots.txt

規(guī)定了不可以爬的數(shù)據(jù)，爬了可能要承擔法律風險，可以“防君子不防小人”