通過HTMLPaser和urlib模塊對網(wǎng)頁進(jìn)行抓取并分析
實(shí)現(xiàn)步驟：
1、自定義MYHTMLParser類
2、實(shí)例化類并訪問天氣預(yù)報(bào)官網(wǎng)
3、抓取關(guān)鍵數(shù)據(jù)
4、對數(shù)據(jù)進(jìn)行切片處理并輸出字典
from html.parser import HTMLPaser? ?#處理頁面模塊
from urllib import request? #訪問網(wǎng)站模塊
L = []? #定義列表接受抓取的信息
class MYHTMLPaser(HTMLParser):? #自定義MYHTMLParser類重寫方法
? ? ? ? ? ? ? ? ? ? ? ? ? ? #定義三個(gè)函數(shù)
? ? ? ? ? ? ? ? ? ? ? ? ? ?#handle_starttag:處理開始標(biāo)簽? attrs:標(biāo)簽屬性 tag:標(biāo)簽
? ? ? ? ? ? ? ? ? ? ? ? ? a_t = False #定義a_t變量為提出標(biāo)簽內(nèi)容時(shí)的判斷做準(zhǔn)備
? ? ? ? ? ? ? ? ? ? ? ? ? ?def handle_starttag(self,tag,attrs):
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?if tag == "h1" and len(attrs) == 0:? #找出不帶屬性的h1標(biāo)簽
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?self.a_t = True
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?else? tag == "p" and len(attrs) > 1: #找出屬性大于1的p標(biāo)簽
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?self.a_t = True
? ? ? ? ? ? ? ? ? ? ? ? ? ? #handle_data:處理標(biāo)簽內(nèi)容 data:標(biāo)簽內(nèi)容
? ? ? ? ? ? ? ? ? ? ? ? ? ?def handle_data(self,data):
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? if self.a_t ==True:? #取出h1標(biāo)簽p標(biāo)簽的內(nèi)容并添加到L列表中
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?L.append(data)
? ? ? ? ? ? ? ? ? ? ? ? ? ? #handle_endtag:處理結(jié)束標(biāo)簽
? ? ? ? ? ? ? ? ? ? ? ? ? ? def handle_endtag(self,tag):
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?self.a_t = False #一個(gè)標(biāo)簽讀取完成后恢復(fù)a_t變量為下一個(gè)標(biāo)簽的讀取判斷做準(zhǔn)備
#自定義類實(shí)例化
p = MYHTMLParser()
#訪問天氣預(yù)報(bào)官網(wǎng)
with request.urlopen("http://www.weather.com.cn/weather/101010100.shtml") as f:
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?data? = f.read().decode('utf-8')? ?#讀取網(wǎng)頁數(shù)據(jù)
#解析網(wǎng)頁信息查找未來七天的天氣情況并輸出到列表中
p.feed(str(data))
p.close() #關(guān)閉資源
#對列表進(jìn)行操作輸出字典
L1 = list(list(L)[2:-6])[1:][::2]
L2 = list(list(L)[2:-6])[::2]
weather = dict(zip(L2,L1))
#輸出天氣
print（weather）
輸出結(jié)果如下圖：
源碼如下：
# 本模塊對一周天氣情況進(jìn)行爬蟲
fromhtml.parserimportHTMLParser
fromurllibimportrequest
importre
# 自定義MYHTMLParser類
L = []
classMYHTMLParser(HTMLParser):
? ? ? ? ? ? ? ? ? ? ? ? ? a_t =False
? ? ? ? ? ? ? ? ? ? ? ? ? def handle_starttag(self,tag,attrs):
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? if tag =="h1"andlen(attrs) ==0:
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?self.a_t =True
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? elif tag =="p"andlen(attrs) >1:
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?self.a_t =True
? ? ? ? ? ? ? ? ? ? ? ? ? ?def handle_data(self,data):
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ifself.a_t ==True:
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?L.append(data)
? ? ? ? ? ? ? ? ? ? ? ? ? ?def? handle_endtag(self,tag):
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?self.a_t =False
# 自自定義類實(shí)例化
p = MYHTMLParser()
# 訪問天氣預(yù)報(bào)官網(wǎng)
withrequest.urlopen("http://www.weather.com.cn/weather/101010100.shtml")asf:
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?data = f.read().decode('utf-8')
# 解析網(wǎng)頁輸出關(guān)鍵信息
p.feed(str(data))
p.close()
# 轉(zhuǎn)成字典
L1 =list(list(L)[2:-6])[1:][::2]
L2 =list(list(L)[2:-6])[::2]
weather =dict(zip(L2,L1))
print(weather)
