1. 操作瀏覽器

1.1 打開瀏覽器并加載網(wǎng)頁(yè)

import webbrowser
webbrowser.open('https://github.com/ChelseaMah')

1.2 用selenium模塊控制瀏覽器

導(dǎo)入有點(diǎn)特殊，需要用
from selenium import webdriver
來(lái)使用selenium的webdriver，而不是Python自帶的。

1.2.1 啟動(dòng)瀏覽器

from selenium import webdriver
browser = webdriver.Safari()
browser.get('https://github.com/ChelseaMah')

1.2.2 在頁(yè)面中尋找元素

WebDriver對(duì)象有很多方法在頁(yè)面中尋找元素，分為findelement和findelements方法。
findelemen 返回一個(gè)WebElement對(duì)象，是匹配查詢的第一個(gè)元素。
findelements 返回一個(gè)列表，包含所有匹配元素。

1.2.3 WebElement的屬性和方法：

1.2.4 頁(yè)面點(diǎn)擊

• findelement或findelements方法找到該WebElement對(duì)象
• 調(diào)用該元素的click()方法。

from selenium import webdriver
browser = webdriver.Safari()
browser.get('https://github.com/ChelseaMah')
publicElement = browser.find_element_by_link_text('Public')
publicElement.click()

1.2.5 填寫并提交表單

from selenium import webdriver
browser = webdriver.Safari()
browser.get('http://gmail.com') 
emailElem = browser.find_element_by_id('Email')
emailElem.send_keys('not_my_real_email@gmail.com')
passwordElem = browser.find_element_by_id('Passwd')
passwordElem.send_keys('12345')
passwordElem.submit()

在任何元素上調(diào)用submit()，都等同于該元素所在表單的submit。

1.2.6 發(fā)送特殊鍵

針對(duì)不能用字符串值輸入的鍵盤擊鍵，如Shift、F1、Home等，使用send_keys()方法時(shí)，傳入selenium.webdriver.common.keys模塊的常量：

1.2.7 點(diǎn)擊瀏覽器按鈕

• browe.back() 點(diǎn)擊"返回"
• browe.forword() 點(diǎn)擊"前進(jìn)"
• browe.refresh() 點(diǎn)擊"刷新"

2. resquests模塊完成網(wǎng)絡(luò)請(qǐng)求、文件下載

2.1 請(qǐng)求網(wǎng)絡(luò)數(shù)據(jù)

import bs4,requests
# res的類型為requests.models.Response
res = requests.get("https://github.com/ChelseaMah")
# 回去狀態(tài)碼
if res.status_code = requests.code.ok:
    # 獲取網(wǎng)頁(yè)請(qǐng)求內(nèi)容
    content = bs4.BeautifulSoup(res.text)
    print (content)

2.2 檢查錯(cuò)誤

在Response對(duì)象上調(diào)用raise_for_status()方法。如果下載文件出錯(cuò)，將拋出異常。如果下載成功，就什么也不做。

import bs4,requests
# res的類型為requests.models.Response
res = requests.get("https://github.com/ChelseaMah")
try:
    res.raise_for_status()
    # 回去狀態(tài)碼
    if res.status_code = requests.code.ok:
        # 獲取網(wǎng)頁(yè)請(qǐng)求內(nèi)容
        content = bs4.BeautifulSoup(res.text)
        print (content)
except requests.exceptions.HTTPError as e:
    print('網(wǎng)絡(luò)請(qǐng)求失敗, msg' + str(s))

2.3 將下載的文件保存到硬盤

從Web寫入本地文件時(shí)，可以用標(biāo)準(zhǔn)的open()函數(shù)和write()方法。 但必須用“寫二進(jìn)制”模式打開該文件，即向函數(shù)傳入字符串'wb'，作為open()的第二參數(shù)。 即使該頁(yè)面是純文本的，你也需要寫入二進(jìn)制數(shù)據(jù)，而不是文本數(shù)據(jù)，目的是為了保存該文本中的“Unicode編碼”。

import bs4,requests
try:
    res = requests.get('https://github.com/ChelseaMah/algorithm_practice/blob/master/src/group2/group.md')
    res.raise_for_status()
    playFile = open('group.md', 'wb')
    for chunk in res.iter_content(100000):
        playFile.write(chunk)
    playFile.close()
except requests.exceptions.HTTPError as e:
    print('網(wǎng)絡(luò)請(qǐng)求失敗, msg' + str(s))

3. HTML解析

用BeautifulSoup模塊解析HTML

3.1 創(chuàng)建BeautifulSoup對(duì)象

bs4.BeautifulSoup(htmlStr/file)返回一個(gè)BeautifulSoup對(duì)象，htmlStr中包含將要解析的HTML。也可以向bs4.BeautifulSoup()傳遞一個(gè)File對(duì)象，從硬盤加載一個(gè)HTML文件。

從網(wǎng)絡(luò)獲取html

res = requests.get('https://github.com/ChelseaMah')
res.raise_for_status()
b4s = bs4.BeautifulSoup(res.text)

讀取本地文件

file = open('example.html')
b4s = bs4.BeautifulSoup(file)

有了BeautifulSoup以后就可以利用它的方法，定位HTML文檔中特定的部分。

3.2 select() 方法 獲取元素?cái)?shù)據(jù)

CSS選擇器例子

不同的選擇器模式可以組合起來(lái)，形成復(fù)雜的匹配。例如，soup.select('p#author')將匹配所有id屬性為author的元素，只要它也在一個(gè)<p>元素之內(nèi)。

select()方法將返回一個(gè)Tag對(duì)象的列表。每個(gè)Tag表示BeautifulSoup對(duì)象中的HTML的每次匹配。
Tag值可以傳遞給str()函數(shù)，顯示它們代表的HTML標(biāo)簽。
Tag值也可以有attrs屬性，它將該Tag的所有HTML屬性作為一個(gè)字典。

>>> import bs4 
>>> exampleFile = open(' example. html')
>>> exampleSoup = bs4.BeautifulSoup(exampleFile.read()) 
>>> elems = exampleSoup.select('#author') 
>>> type(elems) 
< class 'list'> 
>>> len(elems) 
1 
>>> type(elems[ 0]) 
< class 'bs4.element.Tag'> 
>>> elems[0].getText() 
'Al Sweigart' 
>>> str(elems[ 0]) 
'<span id="author">Al Sweigart</span>' 
>>> elems[ 0].attrs
{'id': 'author'}
>>> spanElem = exampleSoup.select('span')[0]
>>> spanElem.get('id') 
'author' 
>>> spanElem.get('some_nonexistent_addr') == None 
True