摘要
requests是一個(gè)封裝了python自帶的urllib模塊的一個(gè)易用型模塊，它使得程序員對(duì)發(fā)送請(qǐng)求和獲取響應(yīng)等http操作的代碼編寫更加簡(jiǎn)單。
說明
以下代碼均默認(rèn)已導(dǎo)入相關(guān)模塊：
import requests
獲取頁面
基本步驟如下：
設(shè)置請(qǐng)求頭信息，一般是改變user-agent
通過get()方法獲取頁面信息
判斷是否發(fā)生異常
如無異常返回頁面的文本或者二進(jìn)制信息
以下是一個(gè)獲取目標(biāo)頁面的方法：
def getHTMLText(url):
'獲取目標(biāo)頁面'
try:
kv = {"user-agent":"Mozilla/5.0"} # 設(shè)置user-agent
r = requests.get(url, timeout=30) # 獲取頁面，設(shè)置超時(shí)時(shí)間為30s
r.raise_for_status() # 如果狀態(tài)碼不是200，引發(fā)HTTPError異常
r.encoding = r.apparent_encoding # 設(shè)置編碼會(huì)頁面的正確編碼
return r.text # 如果需要二進(jìn)制信息，應(yīng)該使用r.content
except:
return '產(chǎn)生異常'
上面代碼實(shí)現(xiàn)了一個(gè)獲取目標(biāo)頁面的方法，我們可以使用這個(gè)方法進(jìn)行一些測(cè)試，比如：
訪問京東的一個(gè)商品頁面：
url = "https://item.jd.com/2967929.html"
text = getHTMLText(url)
print(text[:1000]) # 輸出前面1000個(gè)字符的信息
訪問亞馬遜的一個(gè)商品頁面：
url = "https://www.amazon.cn/dp/B0083DP0CY?_encoding=UTF8&ref_=pc_cxrd_658409051_recTab_658409051_t_1&pf_rd_p=610d12d5-867d-4582-81bc-05492d242e3f&pf_rd_s=merchandised-search-3&pf_rd_t=101&pf_rd_i=658409051&pf_rd_m=A1AJ19PSB66TGU&pf_rd_r=QT2Q1KC61VNBDYMHX928&pf_rd_r=QT2Q1KC61VNBDYMHX928&pf_rd_p=610d12d5-867d-4582-81bc-05492d242e3f"
text = getHTMLText(url)
print(text[:1000]) # 輸出前面1000個(gè)字符的信息
可以發(fā)現(xiàn)，上面兩個(gè)例子的代碼除了url外是相同的，不過這兩個(gè)網(wǎng)站實(shí)際上又是有所不同的，就是京東不會(huì)限制python程序的訪問，而亞馬遜會(huì)。在這里，網(wǎng)站服務(wù)器是通過判斷請(qǐng)求頭的User-Agent字段來判斷是否是瀏覽器訪問，如果不是，可能會(huì)被網(wǎng)站禁止訪問。所有，最好在發(fā)送請(qǐng)求之前先設(shè)置好User-Agent。
User-Agent的設(shè)置：r = requests.get(url, headers={"User-Agent":"Mozilla/5.0"})
查看當(dāng)前請(qǐng)求頭信息：r.headers
