爬蟲urllib高級用法

Handler處理器 和 自定義opener

* opener是urllib.OpenerDirector 的實例,之前使用的urlopen,也是一個特殊的opener(是代碼程序自帶的)
* 但**urlopen()方法不支持代理、cookie**及其它高級功能:
    i. **使用相關(guān)的Handler處理器來創(chuàng)建特定功能的處理器對象**
    ii. **然后通過 urllib.request.build_opener()方法使用這些處理器對象,創(chuàng)建一個自定義opener對象**
    iii. **使用自定義的opener對象,調(diào)用open()方法發(fā)送請求**
* 如果程序中的多有請求都是使用的自己定義的opener,可以使用**urllib.request.install_opener()**將定義的opener定義為**全局的opener**讓凡是調(diào)用urlopen,都使用這個opener(定義的opener要符合自己的使用需求)

urllib之代理設(shè)置

什么是代理:代理就是代理服務(wù)器
功能:網(wǎng)絡(luò)信息的中轉(zhuǎn)站,就好像中間商一樣,原本是直接找房主詳談的,但現(xiàn)在是和房產(chǎn)中介談一樣,在中間有個橋連接兩方
基本原理:本來服務(wù)器收到的請求是我們本機真實IP但設(shè)置了代理之后,服務(wù)器無法識別我們的本機真實IP

image.png

代理的作用:
1.突破自身的IP訪問限制
2.范文一些單位或團體內(nèi)部資源
3.提高訪問速度
4.隱藏真實IP

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容