你好,我是 @馬哥python說(shuō) 。
我們?cè)趯懪老x(chóng)時(shí),經(jīng)常遇到這種問(wèn)題,從目標(biāo)網(wǎng)站把請(qǐng)求頭復(fù)制下來(lái),粘貼到爬蟲(chóng)代碼里,需要一點(diǎn)一點(diǎn)修改格式,因?yàn)閺?fù)制的是字符串string格式,請(qǐng)求頭需要用字典dict格式:
開(kāi)發(fā)者模式界面-請(qǐng)求頭
下面介紹一種簡(jiǎn)單的方法。
首先,把復(fù)制到的請(qǐng)求頭放到一個(gè)字符串里:
# 請(qǐng)求頭
headers = """
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7
Cache-Control: max-age=0
Connection: keep-alive
Cookie: cookie值
Host: movie.douban.com
Referer: https://movie.douban.com/top250
sec-ch-ua: ".Not/A)Brand";v="99", "Google Chrome";v="103", "Chromium";v="103"
sec-ch-ua-mobile: ?0
sec-ch-ua-platform: "macOS"
Sec-Fetch-Dest: document
Sec-Fetch-Mode: navigate
Sec-Fetch-Site: same-origin
Sec-Fetch-User: ?1
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36
"""
然后,導(dǎo)入lxpy庫(kù):
from lxpy import copy_headers_dict
把剛才的字符串轉(zhuǎn)換為字典:
# 轉(zhuǎn)換請(qǐng)求頭為字典格式
headers = copy_headers_dict(headers)
再看一眼現(xiàn)在的請(qǐng)求頭,已經(jīng)轉(zhuǎn)成了字典格式:
格式化后的請(qǐng)求頭
非常好用有沒(méi)有!
下面,就可以繼續(xù)開(kāi)心的擼爬蟲(chóng)代碼了~
同步講解視頻:
https://www.zhihu.com/zvideo/1530851114778210304
我是 @馬哥python說(shuō) ,感謝閱讀。
推薦閱讀:
【Python爬蟲(chóng)奇淫技巧】用pandas庫(kù)read_html函數(shù)一行代碼搞定爬蟲(chóng)!