Python網(wǎng)絡(luò)爬蟲之HTTP的異常處理機(jī)制

一、URLError(URL錯誤異常)

通常,URLError在沒有網(wǎng)絡(luò)連接(沒有路由到特定服務(wù)器),或者服務(wù)器不存在的情況下產(chǎn)生。這種情況下,異常同樣會帶有"reason"屬性,它是一個tuple(可以理解為不可變的數(shù)組),包含了一個錯誤號和一個錯誤信息??聪旅娴氖纠?/p>

URLError

從程序中可以看到輸出為:[Errno 11004] getaddrinfo failed,也就是說,錯誤號是11004,內(nèi)容是getaddrinfo failed

二、HTTPError(HTTPError狀態(tài)錯誤)

服務(wù)器上每一個HTTP 應(yīng)答對象response包含一個數(shù)字"狀態(tài)碼"。有時狀態(tài)碼指出服務(wù)器無法完成請求。默認(rèn)的處理器會為你處理一部分這種應(yīng)答。例如:假如response是一個"重定向",需要客戶端從別的地址獲取文檔,urllib2將為你處理。其他不能處理的,urlopen會產(chǎn)生一個HTTPError。典型的錯誤包含"404"(頁面無法找到),"403"(請求禁止),和"401"(帶驗(yàn)證請求)。HTTP狀態(tài)碼表示HTTP協(xié)議所返回的響應(yīng)的狀態(tài)。比如客戶端向服務(wù)器發(fā)送請求,如果成功地獲得請求的資源,則返回的狀態(tài)碼為200,表示響應(yīng)成功。如果請求的資源不存在, 則通常返回404錯誤。 HTTP狀態(tài)碼通常分為5種類型,分別以1~5五個數(shù)字開頭,由3位整數(shù)組成,如:200代表請求成功、304代表請求的資源未更新、400 代表非法請求,詳情見HTTP狀態(tài)碼解析

HTTPError實(shí)例產(chǎn)生后會有一個整型'code'屬性,是服務(wù)器發(fā)送的相關(guān)錯誤號。

Error Codes錯誤碼:因?yàn)槟J(rèn)的處理器處理了重定向(300以外號碼),并且100-299范圍的號碼指示成功,所以你只能看到400-599的錯誤號碼。BaseHTTPServer.BaseHTTPRequestHandler.response是一個很有用的應(yīng)答號碼字典,顯示了HTTP協(xié)議使用的所有的應(yīng)答號。當(dāng)一個錯誤號產(chǎn)生后,服務(wù)器返回一個HTTP錯誤號,和一個錯誤頁面。你可以使用HTTPError實(shí)例作為頁面返回的應(yīng)答對象response。這表示和錯誤屬性一樣,它同樣包含了read,geturl,和info方法。

HTTPError

從程序中可以看到輸出了404的錯誤碼,也就說沒有找到這個頁面。

三、HTTP異常處理方式

HTTP異常處理方式

從示例中可以看到,兩種方式都能輸出異常:其中第二種中HTTPError必須寫在URLError異常前,因HTTPError是URLError的子類,如果URLError在前面它會捕捉到所有的URLError(包括HTTPError )。

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見模式的工具(例如配置管理,服務(wù)發(fā)現(xiàn),斷路器,智...
    卡卡羅2017閱讀 136,506評論 19 139
  • 國家電網(wǎng)公司企業(yè)標(biāo)準(zhǔn)(Q/GDW)- 面向?qū)ο蟮挠秒娦畔?shù)據(jù)交換協(xié)議 - 報(bào)批稿:20170802 前言: 排版 ...
    庭說閱讀 12,300評論 6 13
  • 一、網(wǎng)絡(luò)爬蟲的定義 網(wǎng)絡(luò)爬蟲,即Web Spider,是一個很形象的名字。把互聯(lián)網(wǎng)比喻成一個蜘蛛網(wǎng),那么Spide...
    隨風(fēng)化作雨閱讀 1,266評論 0 0
  • 一、概念(載錄于:http://www.cnblogs.com/EricaMIN1987_IT/p/3837436...
    yuantao123434閱讀 8,726評論 6 152
  • 37,8度的天氣 燥熱的空氣因子 誘惑著不斷翻動的荷爾蒙。 顏色分明的陰影與陽光 映襯著那參差不齊的高樓和小屋 帶...
    特朗斯特羅姆的學(xué)徒閱讀 190評論 1 3

友情鏈接更多精彩內(nèi)容