urllib是python自帶的一個(gè)包，主要用于做爬蟲的(暫時(shí)接觸到的是這樣)。爬蟲也叫網(wǎng)絡(luò)蜘蛛，主要功能是獲取網(wǎng)頁數(shù)據(jù)。
urllib庫的基本使用
所謂網(wǎng)頁抓取，就是把URL地址中指定的網(wǎng)絡(luò)資源從網(wǎng)絡(luò)流中讀取出來，保存到本地。 在Python中有很多庫可以用來抓取網(wǎng)頁，我們先學(xué)習(xí)urllib
我們會(huì)從下面三個(gè)方面講解urllib:
request : 它是最基本的HTTP請(qǐng)求模塊，可以用來模擬發(fā)送請(qǐng)求，就像在瀏覽器中輸入網(wǎng)址，然后敲擊回車鍵一樣，使用的時(shí)候只需要給庫方法傳入相關(guān)的URL和相關(guān)的參數(shù)即可．
error : 異常處理模塊，如果出現(xiàn)請(qǐng)求錯(cuò)誤，我們可以使用這個(gè)模塊來捕獲異常，然后進(jìn)行重試或者其他操作，保證程序不會(huì)意外終止．
parse : 這是一個(gè)工具模塊，提供了許多url的處理方法，比如拆分,解析,合并等等.
在 python2 中，urllib 被分為urllib,urllib2等
在python3中我們直接使用urllib
urlopen方法
# 導(dǎo)入urllib.request 庫
from urllib import request
# 向指定的url發(fā)送請(qǐng)求，并返回服務(wù)器響應(yīng)的類文件對(duì)象
response = urllib.request.urlopen("http://www.baidu.com")
print(type(response))
# 類文件對(duì)象支持文件對(duì)象的操作方法，如read()方法讀取文件全部?jī)?nèi)容，返回字符串
html = response.read()
# 打印響應(yīng)結(jié)果（betys類型）
print (html)
# 打印狀態(tài)碼
print (response.status)
# 獲取響應(yīng)頭
print (response.getheaders())
# 獲取響應(yīng)頭信息
print (response.getheader('Server'))
# 獲取響應(yīng)結(jié)果原因
print (response.reason)
執(zhí)行寫的python代碼，將打印結(jié)果
python3 urllib_request.py
實(shí)際上，如果我們?cè)跒g覽器上打開百度主頁， 右鍵選擇“查看源代碼”，你會(huì)發(fā)現(xiàn)，跟我們剛才打印出來的是一模一樣。也就是說，上面的4行代碼就已經(jīng)幫我們把百度的首頁的全部代碼爬了下來。
包含如下常用參數(shù)
url:設(shè)置目標(biāo)url
data:如果設(shè)置該參數(shù)，則請(qǐng)求默認(rèn)為post請(qǐng)求
timeout：用于設(shè)置超時(shí)時(shí)間，單位為秒
context：必須是一個(gè)ssl.SSLContext類型,用來指定SSL設(shè)置,忽略未認(rèn)證的CA證書．
一個(gè)基本的url請(qǐng)求對(duì)應(yīng)的python代碼真的非常簡(jiǎn)單。
Request
在我們第一個(gè)例子里，urlopen()的參數(shù)就是一個(gè)url地址；
但是如果需要執(zhí)行更復(fù)雜的操作，比如增加HTTP報(bào)頭，必須創(chuàng)建一個(gè) Request 實(shí)例來作為urlopen()的參數(shù)；而需要訪問的url地址則作為 Request 實(shí)例的參數(shù)。
我們編輯urllib_request.py
# urllib_request.py
import urllib.request
#url作為Request()方法的參數(shù)，構(gòu)造并返回一個(gè)Request對(duì)象
request = urllib.request.Request("http://www.baidu.com")
#Request對(duì)象作為urlopen()方法的參數(shù)，發(fā)送給服務(wù)器并接收響應(yīng)
response = urllib.request.urlopen(request)
#將獲取到的頁面源碼，轉(zhuǎn)為字符串
html = response.read().decode('utf-8')
print (html)
運(yùn)行結(jié)果是完全一樣的： 新建Request實(shí)例，除了必須要有 url 參數(shù)之外，還可以設(shè)置另外兩個(gè)參數(shù)：
data（默認(rèn)空）：是伴隨 url 提交的數(shù)據(jù)（比如要post的數(shù)據(jù)），同時(shí) HTTP 請(qǐng)求將從 "GET"方式 改為 "POST"方式。
headers（默認(rèn)空）：是一個(gè)字典，包含了需要發(fā)送的HTTP報(bào)頭的鍵值對(duì)。
