爬蟲抓回來的網(wǎng)頁一般是個(gè)html文件，為了提取文件中的有效信息，就需要對其進(jìn)行解析。直接采用字符串的方法進(jìn)行查找、替換固然可行，但是效率很低。這時(shí)候就可以請出BeautifulSoup來幫忙了。
簡單來說，Beautiful Soup是python的一個(gè)庫，最主要的功能是從網(wǎng)頁抓取數(shù)據(jù)，官網(wǎng)介紹如下。
Beautiful Soup提供一些簡單的、python式的函數(shù)用來處理導(dǎo)航、搜索、修改分析樹等功能。它是一個(gè)工具箱，通過解析文檔為用戶提供需要抓取的數(shù)據(jù)，因?yàn)楹唵?，所以不需要多少代碼就可以寫出一個(gè)完整的應(yīng)用程序。
Beautiful Soup自動(dòng)將輸入文檔轉(zhuǎn)換為Unicode編碼，輸出文檔轉(zhuǎn)換為utf-8編碼。你不需要考慮編碼方式，除非文檔沒有指定一個(gè)編碼方式，這時(shí)，Beautiful Soup就不能自動(dòng)識(shí)別編碼方式了。然后，你僅僅需要說明一下原始編碼方式就可以了。
Beautiful Soup已成為和lxml、html6lib一樣出色的python解釋器，為用戶靈活地提供不同的解析策略或強(qiáng)勁的速度。
1. 使用方法
首先必須要導(dǎo)入 bs4 庫
from bs4 import BeautifulSoup
我們創(chuàng)建一個(gè)字符串，后面的例子我們便會(huì)用它來演示
html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a class="sister" id="link1"><!-- Elsie --></a>,
<a class="sister" id="link2">Lacie</a> and
<a class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
創(chuàng)建 beautifulsoup 對象
soup = BeautifulSoup(html)
另外，我們還可以用本地 HTML 文件來創(chuàng)建對象，例如
soup = BeautifulSoup(open('index.html'))
上面這句代碼便是將本地 index.html 文件打開，用它來創(chuàng)建 soup 對象
下面我們來打印一下 soup 對象的內(nèi)容，格式化輸出
print soup.prettify()
<html>
<head>
<title>
The Dormouse's story
</title>
</head>
<body>
<p class="title" name="dromouse">
<b>
The Dormouse's story
</b>
</p>
<p class="story">
Once upon a time there were three little sisters; and their names were
<a class="sister" id="link1">
<!-- Elsie -->
</a>
,
<a class="sister" id="link2">
Lacie
</a>
and
<a class="sister" id="link3">
Tillie
</a>
;
and they lived at the bottom of a well.
</p>
<p class="story">
...
</p>
</body>
</html>
以上便是輸出結(jié)果，格式化打印出了它的內(nèi)容，這個(gè)函數(shù)經(jīng)常用到，小伙伴們要記好咯。
2. 四大對象種類
Beautiful Soup將復(fù)雜HTML文檔轉(zhuǎn)換成一個(gè)復(fù)雜的樹形結(jié)構(gòu),每個(gè)節(jié)點(diǎn)都是Python對象,所有對象可以歸納為4種:
（1）Tag
Tag 是什么？通俗點(diǎn)講就是 HTML 中的一個(gè)個(gè)標(biāo)簽，例如
<title>The Dormouse's story</title>
上面的 title a 等等 HTML 標(biāo)簽加上里面包括的內(nèi)容就是 Tag，下面我們來感受一下怎樣用 Beautiful Soup 來方便地獲取 Tags
print soup.title
#<title>The Dormouse's story</title>
我們可以利用 soup加標(biāo)簽名輕松地獲取這些標(biāo)簽的內(nèi)容，是不是感覺比正則表達(dá)式方便多了？不過有一點(diǎn)是，它查找的是在所有內(nèi)容中的第一個(gè)符合要求的標(biāo)簽，如果要查詢所有的標(biāo)簽，我們在后面進(jìn)行介紹。
我們可以驗(yàn)證一下這些對象的類型
print type(soup.a)
#<class 'bs4.element.Tag'>
（2）NavigableString
既然我們已經(jīng)得到了標(biāo)簽的內(nèi)容，那么問題來了，我們要想獲取標(biāo)簽內(nèi)部的文字怎么辦呢？很簡單，用 .string 即可，例如
print soup.p.string
#The Dormouse's story
（3）BeautifulSoup
BeautifulSoup 對象表示的是一個(gè)文檔的全部內(nèi)容.大部分時(shí)候,可以把它當(dāng)作 Tag 對象，是一個(gè)特殊的 Tag。
（4）Comment
Comment 對象是一個(gè)特殊類型的 NavigableString 對象，其實(shí)輸出的內(nèi)容仍然不包括注釋符號(hào)，但是如果不好好處理它，可能會(huì)對我們的文本處理造成意想不到的麻煩。
3. 實(shí)用功能
find_all( name , attrs , recursive , text , **kwargs )
find_all() 方法搜索當(dāng)前tag的所有tag子節(jié)點(diǎn),并判斷是否符合過濾器的條件
（1）name 參數(shù)
name 參數(shù)可以查找所有名字為 name 的tag,字符串對象會(huì)被自動(dòng)忽略掉
A.傳字符串
最簡單的過濾器是字符串.在搜索方法中傳入一個(gè)字符串參數(shù),Beautiful Soup會(huì)查找與字符串完整匹配的內(nèi)容,下面的例子用于查找文檔中所有的<b>標(biāo)簽
soup.find_all('b')
# [<b>The Dormouse's story</b>]
B.傳正則表達(dá)式
如果傳入正則表達(dá)式作為參數(shù),Beautiful Soup會(huì)通過正則表達(dá)式的 match() 來匹配內(nèi)容.下面例子中找出所有以b開頭的標(biāo)簽,這表示<body>和<b>標(biāo)簽都應(yīng)該被找到
import re
for tag in soup.find_all(re.compile("^b")):
print(tag.name)
# body
# b
C.傳列表
如果傳入列表參數(shù),Beautiful Soup會(huì)將與列表中任一元素匹配的內(nèi)容返回.下面代碼找到文檔中所有<a>標(biāo)簽和<b>標(biāo)簽
soup.find_all(["a", "b"])
# [<b>The Dormouse's story</b>,
# <a class="sister" id="link1">Elsie</a>,
# <a class="sister" id="link2">Lacie</a>,
# <a class="sister" id="link3">Tillie</a>]
D.傳 True
True 可以匹配任何值,下面代碼查找到所有的tag,但是不會(huì)返回字符串節(jié)點(diǎn)
for tag in soup.find_all(True):
print(tag.name)
# html
# head
# title
# body
# p
# b
# p
# a
# a
E.傳方法
如果沒有合適過濾器,那么還可以定義一個(gè)方法,方法只接受一個(gè)元素參數(shù) [4] ,如果這個(gè)方法返回 True 表示當(dāng)前元素匹配并且被找到,如果不是則反回 False
下面方法校驗(yàn)了當(dāng)前元素,如果包含 class 屬性卻不包含 id 屬性,那么將返回 True:
def has_class_but_no_id(tag):
return tag.has_attr('class') and not tag.has_attr('id')
將這個(gè)方法作為參數(shù)傳入 find_all() 方法,將得到所有<p>標(biāo)簽:
soup.find_all(has_class_but_no_id)
# [<p class="title"><b>The Dormouse's story</b></p>,
# <p class="story">Once upon a time there were...</p>,
# <p class="story">...</p>]
（2）keyword 參數(shù)
注意：如果一個(gè)指定名字的參數(shù)不是搜索內(nèi)置的參數(shù)名,搜索時(shí)會(huì)把該參數(shù)當(dāng)作指定名字tag的屬性來搜索,如果包含一個(gè)名字為 id 的參數(shù),Beautiful Soup會(huì)搜索每個(gè)tag的”id”屬性
soup.find_all(id='link2')
# [<a class="sister" id="link2">Lacie</a>]
如果傳入 href 參數(shù),Beautiful Soup會(huì)搜索每個(gè)tag的”href”屬性
soup.find_all(href=re.compile("elsie"))
# [<a class="sister" id="link1">Elsie</a>]
使用多個(gè)指定名字的參數(shù)可以同時(shí)過濾tag的多個(gè)屬性
soup.find_all(href=re.compile("elsie"), id='link1')
# [<a class="sister" id="link1">three</a>]
在這里我們想用 class 過濾，不過 class 是 python 的關(guān)鍵詞，這怎么辦？加個(gè)下劃線就可以
soup.find_all("a", class_="sister")
# [<a class="sister" id="link1">Elsie</a>,
# <a class="sister" id="link2">Lacie</a>,
# <a class="sister" id="link3">Tillie</a>]
（3）text 參數(shù)
通過 text 參數(shù)可以搜搜文檔中的字符串內(nèi)容.與 name 參數(shù)的可選值一樣, text 參數(shù)接受 字符串 , 正則表達(dá)式 , 列表, True
soup.find_all(text="Elsie")
# [u'Elsie']
soup.find_all(text=["Tillie", "Elsie", "Lacie"])
# [u'Elsie', u'Lacie', u'Tillie']
soup.find_all(text=re.compile("Dormouse"))
[u"The Dormouse's story", u"The Dormouse's story"]
（4）limit 參數(shù)
find_all() 方法返回全部的搜索結(jié)構(gòu),如果文檔樹很大那么搜索會(huì)很慢.如果我們不需要全部結(jié)果,可以使用 limit 參數(shù)限制返回結(jié)果的數(shù)量.效果與SQL中的limit關(guān)鍵字類似,當(dāng)搜索到的結(jié)果數(shù)量達(dá)到 limit 的限制時(shí),就停止搜索返回結(jié)果.
文檔樹中有3個(gè)tag符合搜索條件,但結(jié)果只返回了2個(gè),因?yàn)槲覀兿拗屏朔祷財(cái)?shù)量
soup.find_all("a", limit=2)
# [<a class="sister" id="link1">Elsie</a>,
# <a class="sister" id="link2">Lacie</a>]
（5）recursive 參數(shù)
調(diào)用tag的 find_all() 方法時(shí),Beautiful Soup會(huì)檢索當(dāng)前tag的所有子孫節(jié)點(diǎn),如果只想搜索tag的直接子節(jié)點(diǎn),可以使用參數(shù) recursive=False .
一段簡單的文檔:
<html>
<head>
<title>
The Dormouse's story
</title>
</head>
...
是否使用 recursive 參數(shù)的搜索結(jié)果:
soup.html.find_all("title")
# [<title>The Dormouse's story</title>]
soup.html.find_all("title", recursive=False)
# []
