一、Requests簡(jiǎn)介：
- requests 是用 Python 語(yǔ)言編寫(xiě)的、優(yōu)雅而簡(jiǎn)單的 HTTP 庫(kù)
- requests 內(nèi)部采用來(lái) urillib3
- 需要爬蟲(chóng)可以使用該工具模塊
- requests 發(fā)送一個(gè) GET 請(qǐng)求，需要在 URL 里請(qǐng)求的參數(shù)可通過(guò) params 傳遞
- requests 發(fā)送一個(gè) POST 請(qǐng)求，新增了一個(gè)可選參數(shù) data，需要通過(guò) POST 請(qǐng)求傳遞 body 里的數(shù)據(jù)可以通過(guò) data 傳遞
二、Requests常用函數(shù)：
| 分類 | 關(guān)鍵字 / 函數(shù) / 方法 | 說(shuō)明 |
|---|---|---|
| 模塊 | import requests | 導(dǎo)入模塊 |
| requests.get("url") | 向指定站點(diǎn)發(fā)出GET請(qǐng)求（查） |
|
| requests.post("url") | 向指定站點(diǎn)發(fā)出POST請(qǐng)求（增） |
|
| requests.delete("url") | 向指定站點(diǎn)發(fā)出DELETE請(qǐng)求（刪） |
|
| requests.put("url") | 向指定站點(diǎn)發(fā)出PUT請(qǐng)求（改-全量修改） |
|
| requests.patch("url") | 向指定站點(diǎn)發(fā)出PATCH請(qǐng)求（改-補(bǔ)丁修改） |
|
| 對(duì)象 | response=requests.get("url") | 獲取請(qǐng)求返回值對(duì)象 |
| response.text |
text：以文本的方式顯示相應(yīng)結(jié)果 |
|
| response.content |
content：以二進(jìn)制方式顯示相應(yīng)數(shù)據(jù)格式："b'.....'" |
|
| response.json() |
json()：以JSON的方式顯示相應(yīng)結(jié)果相當(dāng)于調(diào)用了json.loads(response.text) |
|
| response.encoding |
encoding：修改編碼 |
三、請(qǐng)求參數(shù)：
- 當(dāng)訪問(wèn)一個(gè) URL 時(shí)，我們經(jīng)常需要發(fā)送一些查詢的字段作為過(guò)濾信息，例如：httpbin.com/get?key=val，這里的 key=val 就是限定返回條件的參數(shù)鍵值對(duì)
- 當(dāng)利用 python 的 requests 去發(fā)送一個(gè)需要包含這些參數(shù)鍵值對(duì)時(shí)，可以將它們傳給params
- 還可以通過(guò)headers參數(shù)，模擬真實(shí)用戶訪問(wèn)，繞過(guò)反爬蟲(chóng)機(jī)制
import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36'
}
# 這是目標(biāo)url
# url = 'https://www.baidu.com/s?wd=python'
url = 'https://www.baidu.com/s?'
# 請(qǐng)求參數(shù)是一個(gè)字典 即wd=python
kw = {'wd': 'python'}
# 帶上請(qǐng)求參數(shù)發(fā)起請(qǐng)求，獲取響應(yīng)
response = requests.get(url, headers=headers, params=kw)
print(response.text)
四、案例練習(xí)：（下載網(wǎng)頁(yè)源代碼，并下載全部圖片素材）
- 下載新浪首頁(yè)圖片
import os.path
import re
import threading
import requests
# 下載資源函數(shù)
def download(url, file_name):
response = requests.get(url)
with open(file_name, mode="wb") as fw:
# 寫(xiě)入到指定文件中
fw.write(response.content)
# 獲取url列表（圖片）
# 1.讀取網(wǎng)頁(yè)文件內(nèi)容
# 2.匹配url正則
# 3.保存匹配結(jié)果到列表中
# 4.返回列表
def get_url(file_name, re_str):
with open(file_name, mode="r") as fr:
regular_obj = re.compile(re_str)
url_list = []
while True:
line_data = fr.readline()
if len(line_data) == 0:
break
result = regular_obj.search(line_data)
if result is not None:
url_list.append(result.group())
return url_list
if __name__ == '__main__':
# 網(wǎng)頁(yè)文件下載地址 圖片存放地址
html_file, pic_dir = "/opt/my_html.html", "/tmp/images/"
# 指定下載url，可以動(dòng)態(tài)變換
url_html = "https://www.sinaxxxx.com.cn"
# 文件不存在則下載
if not os.path.exists(url_html):
# 下載網(wǎng)頁(yè)資源
download(url_html, html_file)
# 目錄不存在則創(chuàng)建
if not os.path.exists(pic_dir):
os.makedirs(pic_dir)
# 圖片路徑的正則判斷
pic_re = "(http|https)://[\w\./-]+\.(jpg|png|jepg|gif)"
# 獲取圖片資源
list_image = get_url(html_file, pic_re)
# 下載圖片素材到 /tmp/images
for url_image in list_image:
f_name = url_image.split("/")[-1]
print(f_name)
# 異步下載資源
threading.Thread(
target=download,
args=(url_image, f"{pic_dir}{f_name}")
).start()
