本文簡單介紹了requests的基本使用,python爬蟲中requests模塊絕對(duì)是是最好用的網(wǎng)絡(luò)請(qǐng)求模塊，可以忘記以前學(xué)的urllib和urllib3

requests的安裝

pip install requests

response對(duì)象

發(fā)送請(qǐng)求

一開始導(dǎo)入Requests模塊

import requests

GET請(qǐng)求

r = requests.get(url, params=None, **kwargs)

url：擬獲取頁面的url鏈接
params：url中的額外參數(shù)，字典或字節(jié)流格式
**kwargs: 12個(gè)可控制訪問的參數(shù)

此時(shí)得到了r的Response對(duì)象，我們可以根據(jù)這個(gè)對(duì)象的屬性獲取索要信息。

我們不妨看一下requests中g(shù)et方法的實(shí)現(xiàn)

def get(url, params=None, **kwargs):
    r"""Sends a GET request.

    :param url: URL for the new :class:`Request` object.
    :param params: (optional) Dictionary, list of tuples or bytes to send
        in the body of the :class:`Request`.
    :param \*\*kwargs: Optional arguments that ``request`` takes.
    :return: :class:`Response <Response>` object
    :rtype: requests.Response
    """

    kwargs.setdefault('allow_redirects', True)
    return request('get', url, params=params, **kwargs)

舉例說明最常用的方式

>>> import requests
>>> r = requests.get("https://www.baidu.com")
>>> 

POST請(qǐng)求

r = requests.post(url, data = {"key"： "value"})

構(gòu)建URL

如果手工構(gòu)建URL，那么數(shù)據(jù)會(huì)以鍵值的形式在URL的問號(hào)后面，Requests可以通過params來構(gòu)建URL。例如在百度上查詢Requests庫后，其網(wǎng)頁鏈接應(yīng)該是類似這樣的

https://www.baidu.com/s?wd=requests&rsv_spt=1&rsv_iqid=0xa4190d6100037ee8&issp=1&f=3&rsv_bp=1&rsv_idx=2&ie=utf-8&tn=baiduhome_pg&rsv_enter=1&rsv_sug3=7&rsv_sug1=6&rsv_sug7=100&rsv_sug2=1&prefixsug=reques&rsp=0&inputT=5095&rsv_sug4=7054&rsv_sug=1

搜索后的網(wǎng)頁應(yīng)該是這樣的

image

我們把URL主體留下來，再次查詢

https://www.baidu.com/s?wd=requests

網(wǎng)頁反饋

image

發(fā)現(xiàn)兩個(gè)網(wǎng)頁頁面完全一樣，仔細(xì)看看上面wd=requests，這其實(shí)就是上面介紹可以用鍵值的方式，wd就是鍵，而requests就是值，可以同params構(gòu)建完整URL，簡要舉例說明用法

params = {"wd": "requests"}
url = "https://www.baidu.com"
r = requests.get(url, params=params)

二進(jìn)制響應(yīng)內(nèi)容

對(duì)非文本請(qǐng)求，可以以字節(jié)的訪問，例如下載圖片，這里提供兩種方式
方法一

import requests
from PIL import Image
from io import BytesIO
r = requests.get("https://upload-images.jianshu.io/upload_images/14198966-452601202f9ecebf.jpg")
img = Image.open(ByteIO(r.content))
img.save(path)

方法二

import requests
r = requests.get("https://upload-images.jianshu.io/upload_images/14198966-452601202f9ecebf.jpg")
with open(path, "wb") as f:
    f.write(r.content)

定制請(qǐng)求頭

在反爬蟲機(jī)制中，檢查headers里面的元素是比較普遍的手段，可以通過F12來查看header進(jìn)而添加header來應(yīng)對(duì)簡單的反爬蟲

image

import requests
headers = {"User-Agent": " Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:67.0) Gecko/20100101 Firefox/67.0"}
r = requests.get(url, headers=headers)

Cookie

當(dāng)某個(gè)響應(yīng)中包含一些cookie，cookie是用來銜接一個(gè)頁面與另一個(gè)頁面的關(guān)系，比如說當(dāng)我登錄以后, 瀏覽器為了保存登錄信息, 將這些信息存放在了 cookie 中. 然后我訪問第二個(gè)頁面的時(shí)候, 保存的 cookie 被調(diào)用, 服務(wù)器知道之前做了什么, 瀏覽了些什么。有兩種方式攜帶cookie

方法一，以手動(dòng)的方式附帶cookie

r = requests.get(url, cookies=cookies)

方法二，通過Session自帶cookie

s = requests.Session()
r = s.get(url)

參考：

1.https://morvanzhou.github.io/tutorials/data-manipulation/scraping/3-01-requests/#%E7%99%BB%E5%BD%95

2.https://2.python-requests.org//zh_CN/latest/user/quickstart.html