對(duì)象的種類(lèi)
BeautifulSoup會(huì)將HTML文檔抓換成一個(gè)樹(shù)形結(jié)構(gòu), 每個(gè)節(jié)點(diǎn)都是Python對(duì)象，所有對(duì)象可以分為4類(lèi)：Tag,NavigableString,BeautifulSoup,Comment。
Tag
Tag與XML或HTML中的tag相同：
soup = BeautifulSoup('<b class="boldest">Extremely bold</b>')
tag = soup.b
print(type(tag))
print(tag)
--<class 'bs4.element.Tag'>
--<b class="boldest">Extremely bold</b>
name
每一個(gè)Tag都有自己的name，可以通過(guò).name。改變tag的name，將會(huì)影響通過(guò)當(dāng)前BS對(duì)象生成的HTML文檔
soup = BeautifulSoup('<b class="boldest">Extremely bold</b>',"html.parser")
tag = soup.b
print(tag)
print(tag.name)
tag.name="blockquote"
print(tag)
---<b class="boldest">Extremely bold</b>
---b
---<blockquote class="boldest">Extremely bold</blockquote>
attributes
一個(gè)tag可能有多個(gè)屬性
soup = BeautifulSoup('<b class="boldest">Extremely bold</b>',"html.parser")
tag = soup.b
print(tag['class'])
print(tag.attrs)
---['boldest']
---{'class': ['boldest']}
tag的屬性可以被添加，刪除或修改
soup = BeautifulSoup('<b class="boldest">Extremely bold</b>',"html.parser")
tag = soup.b
更改屬性
tag['class']="verybold"
tag['id']=1
print(tag)
刪除屬性
del tag['class']
print(tag)
print(tag.get('class'))
---<b class="verybold" id="1">Extremely bold</b>
---<b id="1">Extremely bold</b>
多值屬性
多值屬性即為可包含多個(gè)值的屬性，最常見(jiàn)的即為class
xml中沒(méi)有多值屬性
多值屬性的返回類(lèi)型是list
css_soup = BeautifulSoup('<p class="body strikeout"></p>',"html.parser")
print(css_soup.p['class'])
---['body', 'strikeout']
若某個(gè)屬性看起來(lái)像多值屬性，但是在任何版本HTML中都沒(méi)有被定義為多值屬性，那么BS會(huì)將這個(gè)屬性作為字符串返回
id_soup = BeautifulSoup('<p id="my id"></p>',"html.parser")
print(id_soup.p['id'])
---my id
NavigableString
NavigableString不支持.content,.string,find()方法。
如果想在Beautiful Soup之外使用NavigableString對(duì)象,需要調(diào)用unicode()方法,將該對(duì)象轉(zhuǎn)換成普通的Unicode字符串,否則就算Beautiful Soup已方法已經(jīng)執(zhí)行結(jié)束,該對(duì)象的輸出也會(huì)帶有對(duì)象的引用地址.這樣會(huì)浪費(fèi)內(nèi)存.
soup = BeautifulSoup('<b class="boldest">Extremely bold</b>',"html.parser")
tag = soup.b
print(tag.string)
print(type(tag.string))
tag.string.replace_with("No long bold")
print(tag)
---Extremely bold
---<class 'bs4.element.NavigableString'>
---<b class="boldest">No long bold</b>
BeautifulSoup
BeautifulSoup對(duì)象表示的是一個(gè)文檔的全部?jī)?nèi)容.大部分時(shí)候,可以把它當(dāng)作 Tag 對(duì)象,它支持 遍歷文檔樹(shù) 和 搜索文檔樹(shù) 中描述的大部分的方法.
BeautifuSoup沒(méi)有name和attribute屬性。但有一個(gè)值為[document]的特殊屬性.name
soup = BeautifulSoup('<b class="boldest">Extremely bold</b>',"html.parser")
print(soup.name)
---[document]
Comment
遍歷文檔樹(shù)
html_doc = """
<html><head><title>The Dormouse's story</title></head>
<p class="title"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a class="sister" id="link1">Elsie</a>,
<a class="sister" id="link2">Lacie</a> and
<a class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
.content和.children
tag的.contents屬性可以將tag的子節(jié)點(diǎn)以列表的方式輸出:
通過(guò)tag的.children生成器,可以對(duì)tag的子節(jié)點(diǎn)進(jìn)行循環(huán):
print(soup.title.contents)
print(soup.title.contents[0])
---["The Dormouse's story"]
---The Dormouse's story
for i in soup.head.children:
print(i)
---<title>The Dormouse's story</title>
.descendants
.descendants屬性可以對(duì)所有tag的子孫節(jié)點(diǎn)進(jìn)行遞歸循環(huán)
print(soup.head.contents)
for child in soup.head.descendants:
print(child)
print(len(list(soup.children)))
print(len(list(soup.descendants)))
---[<title>The Dormouse's story</title>]
---<title>The Dormouse's story</title>
---The Dormouse's story
---2
---25
.string
如果tag只有一個(gè)NavigableString類(lèi)型子節(jié)點(diǎn),那么這個(gè)tag可以使用.string得到子節(jié)點(diǎn)
print(soup.head.string)
---The Dormouse's story
.strings和stripped_strings
如果tag中有多個(gè)字符串，可以使用.strings循環(huán)獲取
使用.stripped_strings可以去除多余空白內(nèi)容：
for string in soup.stripped_strings:
print(repr(string))
.parent和.parents
通過(guò).parent屬性來(lái)獲取某個(gè)元素的父節(jié)點(diǎn)
通過(guò)元素的.parents屬性可以遞歸得到元素的所有父輩節(jié)點(diǎn)。
for parent in soup.a.parents:
if parent is None:
print(parent)
else:
print(parent.name)
---p
---html
---[document]
兄弟節(jié)點(diǎn)
.next_sibling和.previous_sibling
使用。next_sibling和.previous_sibling屬性來(lái)查詢(xún)兄弟節(jié)點(diǎn)
實(shí)際文檔中的tag的 .next_sibling 和 .previous_sibling 屬性通常是字符串或空白。因?yàn)橹虚g可能會(huì)隔著一些字符以及標(biāo)點(diǎn)。
.next_siblings和.previous_siblings
for sibling in soup.a.next_siblings:
print(repr(sibling))
---',\n'
---<a class="sister" id="link2">Lacie</a>
---' and\n'
---<a class="sister" id="link3">Tillie</a>
';\nand they lived at the bottom of a well.'
重現(xiàn)解析過(guò)程
.next_element和.previous_element
next_element屬性指向解析過(guò)程中下一個(gè)被解析的對(duì)象(字符串或tag),結(jié)果可能與.next_sibling相同,但通常是不一樣的.
last_a_tag=soup.find("a",id="link3")
print(last_a_tag)
print(last_a_tag.next_sibling)
print(last_a_tag.next_element)
---<a class="sister" id="link3">Tillie</a>
---;
---and they lived at the bottom of a well.
---Tillie
.next_elements和.previous_elements
搜索文檔樹(shù)
過(guò)濾器
字符串
正則表達(dá)式
for tag in soup.find_all(re.compile("^b")):
print(tag.name)
列表
如果傳入列表參數(shù),Beautiful Soup會(huì)將與列表中任一元素匹配的內(nèi)容返回.
True
True可以匹配任何值,但是不會(huì)返回字符串節(jié)點(diǎn)
方法
如果沒(méi)有合適過(guò)濾器,那么還可以定義一個(gè)方法,方法只接受一個(gè)元素參數(shù),如果這個(gè)方法返回True表示當(dāng)前元素匹配并且被找到,如果不是則反回False。
def has_class_but_no_id(tag):
return tag.has_attr('class') and not tag.has_attr('id')
find_all()
name參數(shù)
keyword參數(shù)
soup.find_all(id='link2')
按CSS搜索
因?yàn)閏lass是python保留字，所以用class_
例：
soup.find_all("a",class_="sister")
class_參數(shù)同樣接受不同類(lèi)型的過(guò)濾器 ,字符串,正則表達(dá)式,方法或 True :
tag的class屬性是 多值屬性 .按照CSS類(lèi)名搜索tag時(shí),可以分別搜索tag中的每個(gè)CSS類(lèi)名:
text參數(shù)
通過(guò)text參數(shù)可以搜搜文檔中的字符串內(nèi)容.
limit參數(shù)
limit參數(shù)限制返回結(jié)果的數(shù)量
recursive參數(shù)
調(diào)用tag的find_all()方法時(shí),Beautiful Soup會(huì)檢索當(dāng)前tag的所有子孫節(jié)點(diǎn),如果只想搜索tag的直接子節(jié)點(diǎn),可以使用參數(shù) recursive=False.
簡(jiǎn)寫(xiě)
soup.find_all("a")
soup("a")
soup.title.find_all(text=True)
soup.title(text=True)
find()
只返回一個(gè)結(jié)果
find_parents()和find_parent()
find_next_siblings()和find_next_sibling()`
find_all_next()和find_next()
find_all_previous()和find_previous()
CSS選擇器
在Tag或BeautifulSoup對(duì)象的.select()方法中傳入字符串參數(shù),即可使用CSS選擇器的語(yǔ)法找到tag:
