Python網(wǎng)絡(luò)爬蟲之Requests庫(kù)的使用(二)

接上節(jié):


Cookies


我們可以利用cookies變量拿到一個(gè)站點(diǎn)響應(yīng)包含的cookie信息,上代碼:

還可以利用cookies參數(shù)向服務(wù)器發(fā)送cookie信息,上代碼:


運(yùn)行結(jié)果如下:


超時(shí)設(shè)置


最大請(qǐng)求時(shí)間可以通過timeout參數(shù)來設(shè)置,上代碼:

requests.get('http://www.baidu.com',?timeout=0.001)


需要注意的是這里的超時(shí)只是連接超時(shí),并不是響應(yīng)體動(dòng)作的時(shí)間,比如一個(gè)下載需要很長(zhǎng)時(shí)間,這個(gè)參數(shù)沒什么作用的。


會(huì)話對(duì)象


當(dāng)我們對(duì)同一個(gè)url進(jìn)行兩次請(qǐng)求時(shí),就相當(dāng)于用兩個(gè)不同的瀏覽器單獨(dú)打開的效果,也就是兩次請(qǐng)求并不在同一個(gè)回話中,上代碼:

運(yùn)行結(jié)果是:

很明顯,設(shè)置的cookie信息,并沒有在第二次請(qǐng)求中獲取到,也就是兩次請(qǐng)求不在同一個(gè)回話中,解決方法如下:

運(yùn)行結(jié)果如下:

從結(jié)果上看,第一次請(qǐng)求設(shè)置的cookie信息,在第二次請(qǐng)求中獲取到了,說明兩次請(qǐng)求時(shí)在同一個(gè)會(huì)話中。


會(huì)話是一個(gè)全局的配置,所以一些請(qǐng)求中參數(shù)的設(shè)置也是全局的,如下:

代碼中首先通過s.headers.update方法對(duì)headers進(jìn)行了更新,后又在get方法中對(duì)headers進(jìn)行了設(shè)置,那么運(yùn)行結(jié)果是什么那?如下:


可見由于在同一會(huì)話中,故而兩個(gè)headers值都傳進(jìn)去了。


SSL證書驗(yàn)證


現(xiàn)在的網(wǎng)站都是https協(xié)議的,Requests提供了驗(yàn)證SSL證書的功能,參數(shù)為verify,我們利用下面代碼來驗(yàn)證12306網(wǎng)站的證書是無效的,代碼如下:

運(yùn)行結(jié)果如下:

OSError:?Could?not?find?a?suitable?TLS?CA?certificate?bundle,?invalid?path:?true


可見12306站點(diǎn)的SSL果然無效。


代理


如果我們?cè)谡?qǐng)求中需要設(shè)置代理信息,可以使用proxies參數(shù),代碼如下:


運(yùn)行結(jié)果如下:


完結(jié)!

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容