requests庫(kù)
雖然Python的標(biāo)準(zhǔn)庫(kù)中urllib模塊已經(jīng)包含了我們平常使用的大多數(shù)網(wǎng)絡(luò)請(qǐng)求的功能，但是它的API使用起來讓人感覺不太友好，而requests庫(kù)宣傳是‘http for human’，所以使用更加簡(jiǎn)潔方便。對(duì)于設(shè)計(jì)簡(jiǎn)單的爬蟲，強(qiáng)烈建議使用requests
利用pip可以非常方便的安裝：
pip install requests
中文文檔：http://docs.python-requests.org/zh_CN/latest/user/quickstart.html
1.簡(jiǎn)單使用
import requests
resp = requests.get('http://www.baidu.com')
print(resp.text)
2.添加headers和查詢參數(shù)：
如果想添加headers，可以傳入headers參數(shù)來增加請(qǐng)求頭中的headers信息。如果要將參數(shù)放在url中傳遞，可以利用params參數(shù)。示例代碼如下：
import requests
kw = {'word':'中國(guó)'}
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.79 Safari/537.36'}
# params接收一個(gè)字典或者字符串的查詢參數(shù)，字典類型自動(dòng)轉(zhuǎn)換為url編碼，不需要urlencode()
response = requests.get("http://www.baidu.com",params=kw,headers=headers)
# 查詢響應(yīng)內(nèi)容，resposne.text返回的是Unicode格式數(shù)據(jù)
print(response.text)
# 查詢響應(yīng)內(nèi)容，resposne.content返回的是字節(jié)流數(shù)據(jù)
print(response.content)
# 查看完整的url
print(response.url)
# 查看響應(yīng)頭部字符編碼
print(response.encoding)
# 查看響應(yīng)碼
print(response.status_code)
response.text和response.content的區(qū)別
-
response.content：這個(gè)是直接從互聯(lián)網(wǎng)上面抓取的數(shù)據(jù)。沒有經(jīng)過任何的解碼。所以是一個(gè)bytes類型。其實(shí)在硬盤上和在網(wǎng)絡(luò)上傳輸?shù)淖址际?code>bytes類型 -
response.text：這個(gè)是str數(shù)據(jù)類型，是requests庫(kù)將response.content進(jìn)行編碼的字符串。解碼需要指定一個(gè)編碼方式，requests會(huì)根據(jù)自己的猜測(cè)來判斷編碼的方式。所以有時(shí)候可能會(huì)猜測(cè)錯(cuò)誤，就會(huì)導(dǎo)致解碼產(chǎn)生亂碼。這時(shí)候就應(yīng)該使用response.content.decode('utf-8')進(jìn)行手動(dòng)解碼。
發(fā)送post請(qǐng)求
1.最基本的post請(qǐng)求可以使用post方法
response = requests.post('http://www.baidu.com',data=data)
2.傳入data數(shù)據(jù)
這時(shí)候就不要使用urlencode進(jìn)行編碼了，直接傳入一個(gè)字典進(jìn)去就可以了。比如請(qǐng)求拉鉤網(wǎng)的數(shù)據(jù)（拉鉤網(wǎng)上的職位信息是由ajax請(qǐng)求服務(wù)器得到的，所以我們要用的是ajax請(qǐng)求服務(wù)器的url。并且返回的職位信息是json格式數(shù)據(jù)）
import requests
url = 'https://www.lagou.com/jobs/positionAjax.json?city=%E6%9D%AD%E5%B7%9E&needAddtionalResult=false'
data = {'first': 'true','pn': 1,'kd': 'python'}
headers = {
'Host': 'www.lagou.com',
'Origin': 'https://www.lagou.com',
'Referer': 'https://www.lagou.com/jobs/list_python?city=%E6%9D%AD%E5%B7%9E&cl=false&fromSearch=true&labelWords=&suginput=',
'User-Agent':"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.79 Safari/537.36",
}
response = requests.post(url,data=data,headers=headers)
print(response.content.decode('utf-8'))
print(response.json())
如果返回的是json數(shù)據(jù)，可以直接調(diào)用response.json()來將json字符串轉(zhuǎn)換為字典或者列表
使用代理
使用requests添加代理也非常簡(jiǎn)單，只要在請(qǐng)求的方法中（比如get或者post）傳遞proxies參數(shù)就可以了。示例代碼如下：
import requests
url = 'http://httpbin.org/get'
headers = {'User-Agent':"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.79 Safari/537.36"}
proxy = {'http':"123.57.207.2:3128"}
resp = requests.get(url,headers=headers,proxies=proxy)
print(resp.content)
cookie
如果在一個(gè)響應(yīng)中包含了cookie，那么我們利用cookie屬性拿到這個(gè)返回的cookie值：
import requests
response = requests.get('http://www.baidu.com')
print(response.cookies)
print(response.cookies.get_dict())
打印結(jié)果：
<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>
{'BDORZ': '27315'}
session
之前使用urllib庫(kù)，是可以使用opener發(fā)送多個(gè)請(qǐng)求，多個(gè)請(qǐng)求之間可以共享cookie的。那么如果使用requests，也要達(dá)到共享cookie的目的，那么可以使用requests庫(kù)給我們提供的session對(duì)象，該對(duì)象封裝了獲取到的cookie信息。注意這里的session不是web開發(fā)中的那個(gè)session，這個(gè)地方只是一個(gè)會(huì)話對(duì)象而已。還是以登錄人人網(wǎng)為例，使用requests來實(shí)現(xiàn)。示例代碼如下：
import requests
url = 'http://www.renren.com/PLogin.do'
data = {'email':'xxx@qq.com','password':'yyyy'}
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.79 Safari/537.36'}
# 登錄
session = requests.session()
session.port(url,data=data,headers=headers)
# f訪問他人個(gè)人中心
resp = session.get('http://www.renren.com/880151247/profile')
print(resp.text)
處理不信任的SSL證書
對(duì)于那些已經(jīng)被信任的SSL證書的網(wǎng)站，比如https://www.baidu.com，那么使用requests直接就可以正常的返回響應(yīng)。示例代碼如下：
