1.1 Requests庫(kù)方法介紹

requests.request() : 構(gòu)造一個(gè)請(qǐng)求，支持下面方法（其它方法基礎(chǔ)）

Requests 庫(kù)的六種方法和HTTP協(xié)議的六種方法一致：
requests.get()： 獲取HTML網(wǎng)頁(yè)的主要方法，對(duì)于與HTTP的GET
requests.head()： 獲取HTML頁(yè)頭信息，對(duì)應(yīng)于與HTTP的HEAD
requests.post()： 向網(wǎng)頁(yè)提交POST請(qǐng)求方法，對(duì)應(yīng)于HTTP的POST
requests.put()：向網(wǎng)頁(yè)提交PUT請(qǐng)求方法，對(duì)應(yīng)于HTTP的PUT
requests.patch()：向網(wǎng)頁(yè)提交局部修改請(qǐng)求，對(duì)應(yīng)于HTTP的PATCH
requests.delete()：向網(wǎng)頁(yè)提交刪除請(qǐng)求，對(duì)應(yīng)于HTTP的DELETE

用戶(hù)通過(guò) requests.get()， requests.head() 訪問(wèn) Internet，獲取資源
用戶(hù)通過(guò) requests.put()，requests.post()， requests.patch()， requests.delete() 修改Internet網(wǎng)絡(luò)信息

假設(shè)：URL位置有一組數(shù)據(jù) UserInfo， 包括UserID， UserName等20個(gè)字段
需求： 用戶(hù)修改了UserName，其它不變
方法： 1. 采用Patch， 僅向URL提交UserName局部修改信息
?? ?2. 采用PUT， 必須將所有20個(gè)字符一起提交URL，未提交字符會(huì)刪除

1.2 Response對(duì)象屬性

r.status_code: HTTP請(qǐng)求的返回狀態(tài)，200表示訪問(wèn)成功
r.text: HTTP響應(yīng)內(nèi)容的字符串格式
r.encoding: HTTP header的編碼方式
r.apparent_encoding: HTTP 內(nèi)容中的編碼方式
r.content: HTTP響應(yīng)內(nèi)容的二進(jìn)制形式（還原圖片）

主要注意 r.encoding 和 r.apparent_encoding 區(qū)別
r.encoding 如果header中不存在charset，則默認(rèn)為 ISO-8859-1

import requests
r = requests.get('http://www.baidu.com')
print(r.text)
print(r.encoding)
print(r.apparent_encoding)
r.encoding = 'utf-8'
print(r.text)

r.text: 一開(kāi)始輸入非常規(guī)碼
r.encoding : 'ISO-8859-1'
r.apparent_encoding: 'utf-8'
r.text: 顯示可讀代碼

Requests 返回的異常值

requests.ConnectionError: 網(wǎng)絡(luò)連接錯(cuò)誤異常，如DNS查詢(xún)失敗，拒絕連接等
requests.HTTPError： HTTP錯(cuò)誤異常
requests.URLRequired： URL缺失異常
requests.tooManyRedirects： 超過(guò)最大定向次數(shù)，產(chǎn)生重定向異常
requests.ConnectTimeout： 連接遠(yuǎn)程服務(wù)器超時(shí)異常
requests.Timeout： 請(qǐng)求URL超時(shí)，產(chǎn)生超時(shí)異常

1.3 爬蟲(chóng)代碼通用框架結(jié)構(gòu)

import requests

def getHTMLText(url):
  try:
    r = requests.get(url, timeout = 30)
    r.raise_for_status() # not 200, raise error automatically
    r.encoding = r.apparent_encoding
    return r.text
  except:
    return 'FINDING ERRORS!'

if __name__ = '__main__':
  url = 'http://www.baidu.com'
  print(getHTMLText(url))

1.4 requests.request(method, url, **kwargs)

請(qǐng)求方法
r = requests.request('GET', url, **kwargs)
r = requests.request('HEAD', url, **kwargs)
r = requests.request('POST', url, **kwargs)
r = requests.request('PUT', url, **kwargs)
r = requests.request('PATCH', url, **kwargs)
r = requests.request('delete', url, **kwargs)
r = requests.request('OPTIONS', url, **kwargs)

**kwarges 控制訪問(wèn)參數(shù)，均為可選項(xiàng)

params： 字典或者字節(jié)序列，作為參數(shù)增加到url中

kv={'key1':'value1', 'key2':'value2'}
r = requests.request('GET', 'http://python123', params =kv)
print(r.url)
# http://python123.io/ws?key1=value1&key2=value2

data:字典或者字符串，向data域賦值

kv={'key1':'value1', 'key2':'value2'}
r = requests.request('GET', 'http://python123', data=kv)

json:字典，向json域賦值

kv={'key1':'value1', 'key2':'value2'}
r = requests.request('GET', 'http://python123', json=kv)

其它還有headers，cookies， auth， files， timeout， proxis等

1.5 requests.get(url)

r = requests.get(url, params = None, **kwargs)
url: 獲取頁(yè)面的url鏈接
params: url中的額外參數(shù)，字典或字節(jié)流格式，可選
**kwargs: 12個(gè)控制訪問(wèn)的參數(shù)

獲取HTML網(wǎng)頁(yè)的主要方法，對(duì)于與HTTP的GET
首先構(gòu)造一個(gè)向服務(wù)器請(qǐng)求資源的Request對(duì)象
結(jié)果返回一個(gè)包含服務(wù)器資源的Response類(lèi)

import requests
r = response.get(''http://www.baidu.com'')
print(r.status_code)
print(r.headers)
print(type(r))

status_code ：如果返回 200,表示訪問(wèn)成功
type(r)： requests.models.Response
r.headers: 顯示頭文件

1.6 requests.head(url)

只是顯示頭部信息，所花費(fèi)流量信息比較少

import requests
r = requests.head('http://www.baidu.com')
print(r.headers)
print(r.text)

結(jié)果顯示print(r.text)為None

1.7 requests.post(url)

向URL POST一個(gè)字典自動(dòng)編碼為form(表單）
向URL POST一個(gè)字符串自動(dòng)編碼為data

import requests
payload = {'key1':'value1', 'key2':'value2'}
r = requests.post('http://httpbin.org/post', data = payload)
print (r.text)
{
'form':{
  'key2': 'valu2'
  'key1' : 'value1'
 }
}

import requests
payload = {'key1':'value1', 'key2':'value2'}
r = requests.post('http://httpbin.org/post', data = 'ABC')
print (r.text)
{
  'data': 'ABC'
  'form':{
 }
}