urllib 模塊的基本使用

urllib 庫(kù)的基本使用
(1). request : 是http請(qǐng)求模塊, 可以用來(lái)模擬發(fā)送請(qǐng)求,就像在瀏覽器中輸入網(wǎng)址,然后敲擊回車(chē)鍵一樣
(2). error : 異常處理模塊,如出現(xiàn)錯(cuò)誤,可以使用error模塊來(lái)捕捉異常,然后進(jìn)行重試或者其他操作,保證程序不會(huì)意外終止.
(3). parse : 這是一個(gè)工具模塊,提供了許多url的處理方法,比如拆分,解析,合并等等.

url:設(shè)置目標(biāo)url
data:如果設(shè)置該參數(shù),則請(qǐng)求默認(rèn)為post請(qǐng)求
timeout:用于設(shè)置超時(shí)時(shí)間,單位為秒
context:必須是一個(gè)ssl.SSLContext類(lèi)型,用來(lái)指定SSL設(shè)置,忽略未認(rèn)證的CA證書(shū).

urlopen方法的使用
request.urlopen(url,req_headers)

Request:
req = request.Request()
response = request.urloopen(req)
data(默認(rèn)空):是伴隨 url 提交的數(shù)據(jù)(比如要post的數(shù)據(jù)),同時(shí) HTTP 請(qǐng)求將從 "GET"方式 改為 "POST"方式。
headers(默認(rèn)空):是一個(gè)字典,包含了需要發(fā)送的HTTP報(bào)頭的鍵值對(duì)。

添加一個(gè) User-Agent
req_header = {"User-Agent" : "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36",}
添加更多的Header信息
在 HTTP Request 中加入特定的 Header,來(lái)構(gòu)造一個(gè)完整的HTTP請(qǐng)求消息。
1. 可以通過(guò)調(diào)用Request.add_header() 添加/修改一個(gè)特定的header
2. 也可以通過(guò)調(diào)用Request.get_header()來(lái)查看已有的header。

urlencode( ) 方法
通過(guò)urllib.urlencode()方法,將字典鍵值對(duì)按URL編碼轉(zhuǎn)換,從而能被web服務(wù)器接受。
result = urllib.parse.urlencode(word)
print(result)
通過(guò)urllib.unquote()方法,把 URL編碼字符串,轉(zhuǎn)換回原先字符串。
result = urllib.parse.unquote(result)
print(result)

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 1. 網(wǎng)頁(yè)抓取 所謂網(wǎng)頁(yè)抓取,就是把URL地址中指定的網(wǎng)絡(luò)資源從網(wǎng)絡(luò)流中抓取出來(lái)。在Python中有很多庫(kù)可以用來(lái)...
    rhlp閱讀 1,138評(píng)論 0 0
  • urllib庫(kù)的基本使用 所謂網(wǎng)頁(yè)抓取,就是把URL地址中指定的網(wǎng)絡(luò)資源從網(wǎng)絡(luò)流中讀取出來(lái),保存到本地。 在Pyt...
    錦魚(yú)閱讀 493評(píng)論 0 0
  • https://www.cnblogs.com/xiao-apple36/p/8433400.html urlli...
    長(zhǎng)風(fēng)哥哥閱讀 5,339評(píng)論 0 1
  • 爬蟲(chóng)的基本流程 一、發(fā)送HTTP請(qǐng)求(Request)通過(guò)Python庫(kù)向目標(biāo)站點(diǎn)發(fā)送HTTP請(qǐng)求,等待服務(wù)器響應(yīng)...
    曉楓_0544閱讀 848評(píng)論 0 0
  • urllib and urllib2 區(qū)別 –博主提示:下面的是python2中的用法,python3需要做出相應(yīng)...
    sunnyRube閱讀 1,489評(píng)論 0 1

友情鏈接更多精彩內(nèi)容