1、urlopen函數(shù)
urllib2.urlopen(url[, data[, timeout[, cafile[, capath[, cadefault[, context]]]]])
注：
url表示目標(biāo)網(wǎng)頁(yè)地址，可以是字符串，也可以是請(qǐng)求對(duì)象Request
req= urllib2.Request(url, data,headers) response = urllib2.urlopen(req,timeout=3)
data表示post方式提交給目標(biāo)服務(wù)器的參數(shù)
data = urllib.urlencode(data)
import urllib,urllib2
action_url="http://www.xxxxxx.com/post"#用于測(cè)試post的網(wǎng)址，返回提交的數(shù)據(jù)
values={'name':"alice",'age':20}
data=urllib.urlencode(values)#對(duì)表單數(shù)據(jù)編碼
rqst=urllib2.Request(action_url,data)
response=urllib2.urlopen(rqst)#模擬提交表單數(shù)據(jù)到url并獲得響應(yīng)
timeout表示超時(shí)時(shí)間設(shè)置。
返回值
response.read()返回頁(yè)面內(nèi)容
response.info()返回網(wǎng)頁(yè)信息
response.geturl()返回連接地址
這個(gè)函數(shù)可以像urllib.urlopen()那樣以u(píng)rl做參數(shù)。也能以Request實(shí)例為參數(shù)，即用一個(gè)Request對(duì)象（下文構(gòu)造方法）來(lái)映射你提出的HTTP請(qǐng)求,在它最簡(jiǎn)單的使用形式中你將用你要請(qǐng)求的地址創(chuàng)建一個(gè)Request對(duì)象，這個(gè)Request對(duì)象中可以設(shè)置傳輸數(shù)據(jù)、headers等。通過(guò)調(diào)用urlopen并傳入Request對(duì)象，將返回一個(gè)file-like對(duì)象。urllib2還提供了接口來(lái)處理一般情況，例如：基礎(chǔ)驗(yàn)證，cookies,代理和其他，它們通過(guò)handlers和openers的對(duì)象實(shí)現(xiàn)。
2、Request函數(shù)
urllib2.Request(url[, data][, headers][, origin_req_host][, unverifiable])
用于構(gòu)造Request對(duì)象，可以傳遞data數(shù)據(jù)，添加請(qǐng)求頭（headers）等，構(gòu)造好后作為urllib2.urlopen()的參數(shù)。
注：
url表示目標(biāo)網(wǎng)頁(yè)地址，可以是字符串，也可以是請(qǐng)求對(duì)象Request
data表示post方式提交給目標(biāo)服務(wù)器的參數(shù)
headers表示用戶標(biāo)識(shí)，是一個(gè)字典類型的數(shù)據(jù)，有些不允許腳本的抓取，所以需要用戶代理，像火狐瀏覽器的代理就是類似：Mozilla/5.0 (X11; U; Linux i686)Gecko/20071127 Firefox/2.0.0.11
瀏覽器的標(biāo)準(zhǔn)UA格式為：瀏覽器標(biāo)識(shí) (操作系統(tǒng)標(biāo)識(shí); 加密等級(jí)標(biāo)識(shí); 瀏覽器語(yǔ)言) 渲染引擎標(biāo)識(shí) 版本信息 ，headers默認(rèn)是Python-urllib/2.6
origin_req_host表示請(qǐng)求方的主機(jī)域名或者ip地址。
headers = {'User-Agent':'Mozilla/5.0 (X11; U; Linux i686)Gecko/20071127 Firefox/2.0.0.11'}
import urllib
import urllib2
url = 'http://www.weibo.cn/'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
h = { 'User-Agent' : user_agent }
req = urllib2.Request(url,headers=h)
response = urllib2.urlopen(req)
print response.read()
3、build_opener()
build_opener([handler1 [ handler2, ... ]])
- urllib2.urlopen()函數(shù)不支持驗(yàn)證、cookie或者其它HTTP高級(jí)功能。要支持這些功能，必須使用build_opener()函數(shù)創(chuàng)建自定義Opener對(duì)象。
參數(shù)handler是Handler實(shí)例，常用的有HTTPBasicAuthHandler、HTTPCookieProcessor、ProxyHandler等。
build_opener ()返回的對(duì)象具有open()方法，與urlopen()函數(shù)的功能相同。
如果要修改http報(bào)頭，可以用：
import urllib2
opener = urllib2.build_opener()
opener.addheaders = [('User-agent', 'Mozilla/5.0')]
opener.open('http://www.example.com/')
