導(dǎo)入所需包

from bs4 import BeautifulSoup
soup = BeautifulSoup(html)

解析順序

'lxml'->'html5lib'->'html.parser'

對(duì)象種類

有四種類型：Tag，NavigableString，BeautifulSoup，Comment。
BeautifulSoup將文檔轉(zhuǎn)化為樹形結(jié)構(gòu)，每個(gè)節(jié)點(diǎn)都是上述四種類型的Python對(duì)象。

遍歷文檔樹

BeautifulSoup對(duì)象作為一棵樹，有多個(gè)節(jié)點(diǎn)。對(duì)于一個(gè)節(jié)點(diǎn)，相對(duì)于它所在的位置，有子節(jié)點(diǎn)、父節(jié)點(diǎn)、兄弟節(jié)點(diǎn)。

1. 子節(jié)點(diǎn)

* 一個(gè)Tag可包含多個(gè)Tag以及字符串，這些都是這個(gè)Tag的子節(jié)點(diǎn)。而NavigableString不會(huì)有子節(jié)點(diǎn)。
* 如果想要獲得某個(gè)Tag：`soup.tag_name`  
* 通過(guò)點(diǎn)取屬性，只能獲得當(dāng)前名字的第一個(gè)tag，若要獲取所有，需要使用搜索文檔樹中的方法:`soup.find_all('tag_name')`  
* tag的.contents屬性可將所有子節(jié)點(diǎn)以列表的方式輸出?？赏ㄟ^(guò)tag的.children生成器，對(duì)所有子節(jié)點(diǎn)遍歷。  
* `.contents`和`.children`只對(duì)獲取Tag的直接子節(jié)點(diǎn)，`.descendants`可對(duì)Tag的所有子孫節(jié)點(diǎn)遍歷。  
* 如果tag只有一個(gè)NavigableString類型子節(jié)點(diǎn)，則可用`.string`獲取。如果包含多個(gè)，使用`.strings`遍歷。若輸出的字符串中包含空格或空行，使用`.stripped_strings`去除。
```python
res = soup.stripped_strings
print(list(res))
```

2. 父節(jié)點(diǎn)

.parent -> 當(dāng)前節(jié)點(diǎn)的父節(jié)點(diǎn)
.parents -> 當(dāng)前節(jié)點(diǎn)的所有父輩節(jié)點(diǎn)

3. 兄弟節(jié)點(diǎn)

擁有同一父節(jié)點(diǎn)的節(jié)點(diǎn)之間：
.next_sibling
.previous_sibling

所有兄弟節(jié)點(diǎn)：  
`.next_siblings`  
`.previous_siblings`  

指向下一個(gè)或上一個(gè)解析對(duì)象：  
`.next_element`  
`.previous_element`  
`.next_elements`  
`.previous_elements`  

搜索文檔樹：find(str)和find_all(str)

其中的str，代表了tag的name?？梢允羌冏址?、正則表達(dá)式、列表（任一匹配就滿足條件，是或運(yùn)算）、True（返回所有Tag節(jié)點(diǎn)不返回字符串節(jié)點(diǎn)）。
另一種入?yún)⒉皇莝tr，而是method。此方法是一個(gè)函數(shù)，只接受一個(gè)元素入?yún)ⅲ舸撕瘮?shù)返回True表示入?yún)⑵ヅ湟蟆＠纾?/p>

def has_class_but_no_id(tag):
return tag.has_attr('class') and not tag.has_attr('id')
綜上，過(guò)濾器包括：純字符串、正則表達(dá)式、列表、True、方法這幾種。

1. find_all(name,attrs,recursive,text,**kwargs)

該方法搜索當(dāng)前節(jié)點(diǎn)的所有tag子節(jié)點(diǎn)。

1. name參數(shù)：
   指的是tag的name屬性，字符串對(duì)象自動(dòng)忽略。
   過(guò)濾器可以使用全部種類。
2. keyword參數(shù)：
   如果一個(gè)入?yún)⒅付嗣?，但是并不是上述提到的入?yún)⒚?，搜索時(shí)會(huì)把該入?yún)?dāng)做是tag的屬性來(lái)搜索。
   例如：soup.find_all(id='link2')會(huì)返回tag中存在屬性id，并且id對(duì)應(yīng)的值是link2的tag。
   以上方法可使用除方法之外的所有過(guò)濾器。
   某些特殊屬性不能這樣直接使用，則使用如下方法：
   soup.find_all(attrs={"key":"value"})
   例如要使用class屬性進(jìn)行搜索，由于class是python中的保留字，不能直接寫成入?yún)?，目前有兩種方法：
   soup.find_all('tag.name',class_='class_value')
   soup.find_all('tag.name',attrs={'class':'class_value'})
   class_方法可以使用全部過(guò)濾器。
   另外，因?yàn)閏lass是一個(gè)多值屬性，所以只需要匹配一個(gè)值，就可以得到結(jié)果，所謂的不完全匹配。
   使用完全匹配時(shí)，過(guò)濾器中的字符順序需要和實(shí)際相符合才能得到對(duì)應(yīng)結(jié)果。
3. text參數(shù)：
   搜索的是Tag中的字符串內(nèi)容，可使用全部過(guò)濾器。
4. limit參數(shù)：
   限制返回?cái)?shù)量。
5. recursive參數(shù)：
   find_all()默認(rèn)是搜索當(dāng)前節(jié)點(diǎn)的所有子孫節(jié)點(diǎn)，若只需要搜索直接的子節(jié)點(diǎn)，則設(shè)置recursive=False。

find_all()是實(shí)際當(dāng)中用的最廣泛的。因此有了等價(jià)的簡(jiǎn)化版：
soup.find_all('a')或soup('a')

2. find(name,attrs,recursive,text,**kwargs)

find()方法等價(jià)于find_all(limit=1)，返回符合條件的第一個(gè)對(duì)象。
區(qū)別在于，前者直接返回結(jié)果，后者返回只有一個(gè)元素的列表。若沒(méi)有對(duì)象符合條件，前者返回None，后者返回空列表。
簡(jiǎn)化版：soup.find('head').find('title')或soup.head.title

    除了find()和find_all()之外還有一些搜索的方法：
    find_parent()
    find_next_sibling()
    find_previous_sibling()
    上面三種可以在后面加's'表示所有。
    find_next()
    find_previous()
    find_all_next()
    find_all_previous()

3. CSS選擇器(.select()方法)

Tag或BeautifulSoup對(duì)象的.select()方法。
res = soup.select('#wrapperto') -> tag's id
res = soup.select('img[src]') -> 'img' tags有'src' attributes
res = soup.select('img[src=...]') -> 'src' attributes是...

輸出

• soup.prettify()將文檔樹格式化之后輸出。
• 若不注重格式，則可使用python的str()或unicode()。
• 如果想得到tag中包含的文本內(nèi)容，使用get_text()，可獲取到當(dāng)前節(jié)點(diǎn)的文本，以及子孫節(jié)點(diǎn)中的文本。返回的是Unicode。
• 可以指定參數(shù)設(shè)置分隔符如get_text("|")是以“|”作為分隔符。
• get_text(strip=True)可去除文本前后的空白。
• 或者用.stripped_strings進(jìn)行遍歷。獲得父級(jí)標(biāo)簽下的所有子標(biāo)簽內(nèi)的文本信息，相當(dāng)于處理多個(gè)文本的高級(jí)的get_text()方法

編碼

1.soup使用Unicode編碼。
2.BeautifulSoup對(duì)象的.original_encoding屬性來(lái)獲取自動(dòng)識(shí)別編碼的結(jié)果。
3.在創(chuàng)建BeautifulSoup對(duì)象時(shí)，指定入?yún)?code>from_encoding來(lái)告知文檔的編碼方式。
4.有時(shí)轉(zhuǎn)碼時(shí)有些特殊字符替換成了特殊的Unicode，可通過(guò)BeautifulSoup對(duì)象的.contains_repalcement_characters屬性來(lái)判斷是否有此情況，為True即為有特殊替換。
5.輸出編碼統(tǒng)一為UTF8，若想要其他的編碼，則和一般的python字符串相同，需要進(jìn)行手動(dòng)設(shè)置。

完整實(shí)例代碼

import requests,urllib.request
from bs4 import BeautifulSoup

source_code = requests.get(url,headers=header)
wb_data = source_code.text

soup = BeautifulSoup(wb_data,'lxml')
titles = soup.select('body > div.main-content > ul > li > div.article-info > h3 > a')
images = soup.select('body > div.main-content > ul > li > img')

#獲取網(wǎng)頁(yè)信息
for title,image in zip(titles,images):
    data = {
        'title':title.get_text(),
        'image':image.get('src')
    }
print(data)

#下載
download_links = []
folder_path = "C:/Users/asus-pc/Desktop"
for pic_tag in soup.find_all('img'):
    pic_link = pic_tag.get('src')
    download_links.append(pic_link)
for item in download_links:
    urllib.request.urlretrieve(item,folder_path+item[-5:])
    print("done!")

使用示例

capurl = "https://pixabay.com/"
headers = {"Host":"pixabay.com","Accept":"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
           "User-Agent": "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36",}
session = requests.Session()
res = session.get(capurl,headers=headers)
# print(res.text)

soup = BeautifulSoup(res.text,'lxml')
imgs = soup.find_all("div",class_="item")

for i in range(len(imgs)):
    print(imgs[i].attrs["style"])