今晚，被煩死了。9點多才下班，就想回來看書學(xué)習(xí)，結(jié)果被嘮叨嘮叨個小時，我不斷喊不要和我聊天了，還反復(fù)說。我只想安安靜靜看看書，學(xué)習(xí)學(xué)習(xí)，全世界都不要打擾我
接著上一個討論，我們今晚要分析HTML結(jié)構(gòu)了
1.獲取元素
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, "lxml")
# 直接訪問head元素
print(soup.head)
# 多個a元素只會返回第一個
print(soup.a)
# 通過層級獲取 注意：上面沒有body，soup會自動補全
print(soup.body.p)
# 獲取所有a，返回a的數(shù)組
print(soup.find_all('a'))
2.獲取內(nèi)容和子元素
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, "lxml")
head_tag = soup.head
# 通過列表輸出文檔元素
print(head_tag.contents)
title_tag = head_tag.contents[1]
print('---------------------------')
print(title_tag)
print('---------------------------')
print(title_tag.contents)
print('---------------------------')
# BeautifulSoup 對象本身一定會包含子節(jié)點,也就是說標簽也是 BeautifulSoup 對象的子節(jié)點:
print(len(soup.contents))
print(soup.contents[0].name)
print('---------------------------')
# 通過tag的 .children 生成器,可以對tag的子節(jié)點進行循環(huán)
#title_tag.children是The Dormouse's story
for child in title_tag.children:
print(child)
# 字符串沒有 .contents 屬性,因為字符串沒有子節(jié)點:
print('---------------------------')
text = title_tag.contents[0]
print(text.contents) #直接報錯 ：AttributeError: 'NavigableString' object has no attribute 'contents'
3.跨級獲取子節(jié)點
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, "lxml")
head_tag = soup.head
# 遞歸獲取所有子節(jié)點
for child in head_tag.descendants:
print('-----------------------')
print(child)
# 直接子節(jié)點
print(len(list(soup.children)))
# 跨級子節(jié)點：包括換行符 都算成了子節(jié)點。在使用的過程中，一定要注意判空
print(len(list(soup.descendants)))
4.string字符串
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, "lxml")
head_tag = soup.head
# title_tag.string是title標簽的子節(jié)點。即便是純粹的string 這個就是 NavigableString
# print(title_tag.string)
# 如果一個tag僅有一個子節(jié)點,那么這個tag也可以使用 .string 方法,輸出結(jié)果與當前唯一子節(jié)點的 .string 結(jié)果相同:
print(head_tag.contents)
# 如果tag包含了多個子節(jié)點,tag就無法確定 .string 方法應(yīng)該調(diào)用哪個子節(jié)點的內(nèi)容, .string 的輸出結(jié)果是 None :
print(soup.html.string)
5.遍歷字符串和去除空白字符
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, "lxml")
# 如果tag中包含多個字符串 [2] ,可以使用 .strings 來循環(huán)獲取:
# for string in soup.strings:
# print(repr(string))
# 輸出的字符串中可能包含了很多空格或空行, 使用.stripped_strings
# 可以去除多余空白內(nèi)容:
for string in soup.stripped_strings:
print(repr(string))
去除空白字符
6.父節(jié)點
每個節(jié)點都有自己的父節(jié)點。除了第一個
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, "lxml")
title_tag = soup.title
print('1.-------------------')
print(title_tag)
print('2.-------------------')
print(title_tag.parent)
print('3.-------------------')
# 文檔title的字符串也有父節(jié)點:標簽
print(title_tag.string.parent)
print('4.-------------------')
# 文檔的頂層節(jié)點比如的父節(jié)點是 BeautifulSoup 對象:
html_tag = soup.html
print(type(html_tag.parent))
print('5.-------------------')
# BeautifulSoup 對象的 .parent 是None:
print(soup.parent)
遍歷所有父節(jié)點：
soup = BeautifulSoup(html_doc, "lxml")
link = soup.a
for parent in link.parents:
if parent is None:
print(parent)
else:
print(parent.name)
7.兄弟節(jié)點
同一個級別的節(jié)點查找
sibling_soup = BeautifulSoup("text1text2", "lxml")
# b后面一個兄弟節(jié)點
print(sibling_soup.b.next_sibling)
# c前面一個兄弟節(jié)點
print(sibling_soup.c.previous_sibling)
# 同一節(jié)點沒有前一個
print(sibling_soup.b.previous_sibling)
# 同一節(jié)點沒有最后一個
print(sibling_soup.c.next_sibling)
獲取前后所有的兄弟節(jié)點
注意：這些節(jié)點包括字符串和符號
soup = BeautifulSoup(html_doc, "lxml")
for sibling in soup.a.next_siblings:
print('--------------------------')
print(repr(sibling))
for sibling in soup.find(id="link3").previous_siblings:
print('******************************')
print(repr(sibling))
8.回退和前進
注意看next_sibling和next_element的差別
soup = BeautifulSoup(html_doc, "lxml")
last_a_tag = soup.find("a", id="link3")
# 是指link3之后的內(nèi)容
print(last_a_tag.next_sibling)
print('----------------------')
# 是指link3內(nèi)部之后的內(nèi)容
print(last_a_tag.next_element)
print(last_a_tag.next_element.next_element)
soup = BeautifulSoup(html_doc, "lxml")
last_a_tag = soup.find("a", id="link3")
#next_elements和previous_elements 會訪問當前節(jié)點內(nèi)部往后和外部往后的所有內(nèi)容。內(nèi)部往后優(yōu)先
for element in last_a_tag.next_elements:
print(repr(element))
還有一節(jié)，培訓(xùn)新手的文檔就結(jié)束了。真心希望同學(xué)們要好好學(xué)習(xí)，不然我白講。 不下班回家陪我的小公舉，卻來義務(wù)教你寫代碼，而且是從零開始手把手教。兄弟們要加油啊
