和 lxml 一樣，BeautifulSoup4 也是一個HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 數(shù)據(jù)。
lxml 只會局部遍歷，而BeautifulSoup4 是基于HTML DOM（Document Object Model）的，會載入整個文檔，解析整個DOM樹，因此時間和內(nèi)存開銷都會大很多，所以性能要低于lxml。
BeautifulSoup4 用來解析 HTML 比較簡單，API非常人性化，支持CSS選擇器、Python標(biāo)準(zhǔn)庫中的HTML解析器，也支持 lxml 的 XML解析器。
BeautifulSoup3 目前已經(jīng)停止開發(fā)，推薦現(xiàn)在的項目使用BeautifulSoup4
安裝和文檔：
- 安裝：
pip install bs4。 - 中文文檔：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html
幾大解析工具對比：
| 解析工具 | 解析速度 | 使用難度 |
|---|---|---|
| BeautifulSoup4 | 最慢 | 最簡單 |
| lxml | 快 | 簡單 |
| 正則 | 最快 | 最難 |
簡單使用：
from bs4 import BeautifulSoup
html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a class="sister" id="link1"><!-- Elsie --></a>,
<a class="sister" id="link2">Lacie</a> and
<a class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
#創(chuàng)建 BeautifulSoup 對象
# 使用lxml來進(jìn)行解析
soup = BeautifulSoup(html,"lxml")
print(soup.prettify())
四個常用的對象：
BeautifulSoup4將復(fù)雜HTML文檔轉(zhuǎn)換成一個復(fù)雜的樹形結(jié)構(gòu),每個節(jié)點都是Python對象,所有對象可以歸納為4種:
- Tag
- NavigatableString
- BeautifulSoup
- Comment
1. Tag：
Tag 通俗點講就是 HTML 中的一個個標(biāo)簽。示例代碼如下：
from bs4 import BeautifulSoup
html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a class="sister" id="link1"><!-- Elsie --></a>,
<a class="sister" id="link2">Lacie</a> and
<a class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
#創(chuàng)建 Beautiful Soup 對象
soup = BeautifulSoup(html,'lxml')
print soup.title
# <title>The Dormouse's story</title>
print soup.head
# <head><title>The Dormouse's story</title></head>
print soup.a
# <a class="sister" id="link1"><!-- Elsie --></a>
print soup.p
# <p class="title" name="dromouse"><b>The Dormouse's story</b></p>
print type(soup.p)
# <class 'bs4.element.Tag'>
我們可以利用 soup 加標(biāo)簽名輕松地獲取這些標(biāo)簽的內(nèi)容，這些對象的類型是bs4.element.Tag。但是注意，它查找的是在所有內(nèi)容中的第一個符合要求的標(biāo)簽。如果要查詢所有的標(biāo)簽，后面會進(jìn)行介紹。
對于Tag，它有兩個重要的屬性，分別是name和attrs。示例代碼如下：
print soup.name
# [document] #soup 對象本身比較特殊，它的 name 即為 [document]
print soup.head.name
# head #對于其他內(nèi)部標(biāo)簽，輸出的值便為標(biāo)簽本身的名稱
print soup.p.attrs
# {'class': ['title'], 'name': 'dromouse'}
# 在這里，我們把 p 標(biāo)簽的所有屬性打印輸出了出來，得到的類型是一個字典。
print soup.p['class'] # soup.p.get('class')
# ['title'] #還可以利用get方法，傳入屬性的名稱，二者是等價的
soup.p['class'] = "newClass"
print soup.p # 可以對這些屬性和內(nèi)容等等進(jìn)行修改
# <p class="newClass" name="dromouse"><b>The Dormouse's story</b></p>
2. NavigableString：
如果拿到標(biāo)簽后，還想獲取標(biāo)簽中的內(nèi)容。那么可以通過tag.string獲取標(biāo)簽中的文字。示例代碼如下：
print soup.p.string
# The Dormouse's story
print type(soup.p.string)
# <class 'bs4.element.NavigableString'>thon
3. BeautifulSoup：
BeautifulSoup 對象表示的是一個文檔的全部內(nèi)容.大部分時候,可以把它當(dāng)作 Tag 對象,它支持 遍歷文檔樹 和 搜索文檔樹 中描述的大部分的方法.
因為 BeautifulSoup 對象并不是真正的HTML或XML的tag,所以它沒有name和attribute屬性.但有時查看它的 .name 屬性是很方便的,所以 BeautifulSoup 對象包含了一個值為 “[document]” 的特殊屬性 .name
soup.name
# '[document]'
4. Comment：
Tag , NavigableString , BeautifulSoup 幾乎覆蓋了html和xml中的所有內(nèi)容,但是還有一些特殊對象.容易讓人擔(dān)心的內(nèi)容是文檔的注釋部分:
markup = "<b><!--Hey, buddy. Want to buy a used parser?--></b>"
soup = BeautifulSoup(markup)
comment = soup.b.string
type(comment)
# <class 'bs4.element.Comment'>
Comment 對象是一個特殊類型的 NavigableString 對象:
comment
# 'Hey, buddy. Want to buy a used parser'
遍歷文檔樹：
1. contents和children：
html_doc = """
<html><head><title>The Dormouse's story</title></head>
<p class="title"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a class="sister" id="link1">Elsie</a>,
<a class="sister" id="link2">Lacie</a> and
<a class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc,'lxml')
head_tag = soup.head
# 返回所有子節(jié)點的列表
print(head_tag.contents)
# 返回所有子節(jié)點的迭代器
for child in head_tag.children:
print(child)
2. strings 和 stripped_strings
如果tag中包含多個字符串 [2] ,可以使用 .strings 來循環(huán)獲?。?/p>
for string in soup.strings:
print(repr(string))
# u"The Dormouse's story"
# u'\n\n'
# u"The Dormouse's story"
# u'\n\n'
# u'Once upon a time there were three little sisters; and their names were\n'
# u'Elsie'
# u',\n'
# u'Lacie'
# u' and\n'
# u'Tillie'
# u';\nand they lived at the bottom of a well.'
# u'\n\n'
# u'...'
# u'\n'
輸出的字符串中可能包含了很多空格或空行,使用 .stripped_strings 可以去除多余空白內(nèi)容：
for string in soup.stripped_strings:
print(repr(string))
# u"The Dormouse's story"
# u"The Dormouse's story"
# u'Once upon a time there were three little sisters; and their names were'
# u'Elsie'
# u','
# u'Lacie'
# u'and'
# u'Tillie'
# u';\nand they lived at the bottom of a well.'
# u'...'
搜索文檔樹：
1. find和find_all方法：
搜索文檔樹，一般用得比較多的就是兩個方法，一個是find，一個是find_all。find方法是找到第一個滿足條件的標(biāo)簽后就立即返回，只返回一個元素。find_all方法是把所有滿足條件的標(biāo)簽都選到，然后返回回去。使用這兩個方法，最常用的用法是出入name以及attr參數(shù)找出符合要求的標(biāo)簽。
soup.find_all("a",attrs={"id":"link2"})
或者是直接傳入屬性的的名字作為關(guān)鍵字參數(shù)：
soup.find_all("a",id='link2')
2. select方法：
使用以上方法可以方便的找出元素。但有時候使用css選擇器的方式可以更加的方便。使用css選擇器的語法，應(yīng)該使用select方法。以下列出幾種常用的css選擇器方法：
（1）通過標(biāo)簽名查找：
print(soup.select('a'))
（2）通過類名查找：
通過類名，則應(yīng)該在類的前面加一個.。比如要查找class=sister的標(biāo)簽。示例代碼如下：
print(soup.select('.sister'))
（3）通過id查找：
通過id查找，應(yīng)該在id的名字前面加一個＃號。示例代碼如下：
print(soup.select("#link1"))
（4）組合查找：
組合查找即和寫 class 文件時，標(biāo)簽名與類名、id名進(jìn)行的組合原理是一樣的，例如查找 p 標(biāo)簽中，id 等于 link1的內(nèi)容，二者需要用空格分開：
print(soup.select("p #link1"))
直接子標(biāo)簽查找，則使用 > 分隔：
print(soup.select("head > title"))
（5）通過屬性查找：
查找時還可以加入屬性元素，屬性需要用中括號括起來，注意屬性和標(biāo)簽屬于同一節(jié)點，所以中間不能加空格，否則會無法匹配到。示例代碼如下：
print(soup.select('a[))
（6）獲取內(nèi)容
以上的 select 方法返回的結(jié)果都是列表形式，可以遍歷形式輸出，然后用 get_text() 方法來獲取它的內(nèi)容。
soup = BeautifulSoup(html, 'lxml')
print type(soup.select('title'))
print soup.select('title')[0].get_text()
for title in soup.select('title'):
print title.get_text()
上一篇：數(shù)據(jù)解析之XPath語法和lxml模塊
下一篇：數(shù)據(jù)解析之正則表達(dá)式和re模塊
