Python中常用的html數(shù)據(jù)抽取方法有正則、XPath和BeautifulSoup這三種。其中，最常用的XPath庫是lxml。今天再介紹一個(gè)庫SimplifiedDoc，一起比較一下他們的優(yōu)劣。
1、安裝
| 名稱 | 安裝方法 | 包大小 | 說明 |
|---|---|---|---|
| 正則 | 不需安裝（內(nèi)置） | ||
| lxml | pip install lxml | 4.5MB | 依賴c語言庫 |
| BeautifulSoup | pip install beautifulsoup4 | 107kB | 如果不使用第三方庫，則不需要?jiǎng)e的安裝 |
| SimplifiedDoc | pip install simplified-scrapy | 43kB | 沒有第三方依賴 |
2、Python版本支持
這幾種方法都同時(shí)支持Python2和Python3。
3、使用方法
對(duì)正則和XPath的使用方法，這里就不重復(fù)了，只簡(jiǎn)單對(duì)比下BeautifulSoup和SimplifiedDoc。下面的代碼展示了兩者實(shí)例化及提取數(shù)據(jù)的方法。
html = '''
<html>
<head>
<title>Example Domain</title>
</head>
<body>
<div id='test'>
test text
</div>
</body>
</html>
'''
# 例子：http://www.jsphp.net/python/show-24-214-1.html
from bs4 import BeautifulSoup
soup = BeautifulSoup(html,features='html.parser')
soup = BeautifulSoup(html,features='lxml')
title = soup.title
# 取所有
divs = soup.findAll(id='test')
divs = soup.select('div#test')
# 取第一個(gè)
div = soup.find(id='test')
div = soup.select_one('div#test')
print (div.text)
# 例子：https://github.com/yiyedata/simplified-scrapy-demo/tree/master/doc_examples
from simplified_scrapy import SimplifiedDoc
doc = SimplifiedDoc(html)
title = doc.title
# 取所有
divs = doc.getElements('div',attr='id',value='test')
divs = doc.selects('div#test')
# 取第一個(gè)
div = doc.getElementByID('test')
div = doc.select('div#test')
print (div.text)
在使用方法上，有相似的地方，也有不同的地方，但是都挺簡(jiǎn)單的。這里特別提一下SimplifiedDoc中的getElement方法，每個(gè)方法中都有三個(gè)可選的參數(shù)start=None,end=None,before=None。使用這三個(gè)參數(shù)，可以幫助定位需要抽取的數(shù)據(jù)，在合適的時(shí)候，可以使抽取很方便。
4、性能對(duì)比
在處理速度上，對(duì)于正則，處理速度快，并且是有針對(duì)性的只處理需要的數(shù)據(jù)，所以比較公認(rèn)的是處理速度最快的方式，但是使用起來相對(duì)困難。下面只對(duì)比lxml、BeautifulSoup、SimplifiedDoc這三種方式。對(duì)比代碼如下：
from lxml import etree
from bs4 import BeautifulSoup
from simplified_scrapy import SimplifiedDoc
import time
html = '''
<!doctype html>
<html>
<head>
<title>Example Domain</title>
<meta charset="utf-8" />
<meta http-equiv="Content-type" content="text/html; charset=utf-8" />
<meta name="viewport" content="width=device-width, initial-scale=1" />
<style type="text/css">
body {
background-color: #f0f0f2;
margin: 0;
padding: 0;
font-family: -apple-system, system-ui, BlinkMacSystemFont, "Segoe UI", "Open Sans", "Helvetica Neue", Helvetica, Arial, sans-serif;
}
div {
width: 600px;
margin: 5em auto;
padding: 2em;
background-color: #fdfdff;
border-radius: 0.5em;
box-shadow: 2px 3px 7px 2px rgba(0,0,0,0.02);
}
a:link, a:visited {
color: #38488f;
text-decoration: none;
}
@media (max-width: 700px) {
div {
margin: 0 auto;
width: auto;
}
}
</style>
</head>
<body>
<div>
<h1>Example Domain</h1>
<p>This domain is for use in illustrative examples in documents. You may use this
domain in literature without prior coordination or asking for permission.</p>
<p><a >More information...</a></p>
</div>
</body>
</html>
'''
start = time.time()
for i in range(0,1000):
root = etree.HTML(html)
text = root.xpath('//h1/text()')[0]
print (time.time()-start,text)
start = time.time()
for i in range(0,1000):
soup = BeautifulSoup(html,features='html.parser')
text = soup.h1.text
print (time.time()-start,text)
start = time.time()
for i in range(0,1000):
soup = BeautifulSoup(html,features='lxml')
text = soup.h1.text
print (time.time()-start,text)
start = time.time()
for i in range(0,1000):
doc = SimplifiedDoc(html)
text = doc.h1.html
print (time.time()-start,text)
使用VSCode測(cè)試對(duì)比結(jié)果如下：
| 名稱 | 調(diào)試模式耗時(shí)（單位：秒） |
|---|---|
| lxml | 0.10795402526855469 |
| BeautifulSoup(html.parser) | 2.5450849533081055 |
| BeautifulSoup(lxml) | 2.236968994140625 |
| SimplifiedDoc | 0.25988101959228516 |
| 名稱 | 非調(diào)試模式耗時(shí)（單位：秒） |
|---|---|
| lxml | 0.12264490127563477 |
| BeautifulSoup(html.parser) | 0.799994945526123 |
| BeautifulSoup(lxml) | 0.7144896984100342 |
| SimplifiedDoc | 0.14832687377929688 |
不管調(diào)試模式或非調(diào)試模式，lxml的速度是最快的，SimplifiedDoc第二，BeautifulSoup第三。其中有一個(gè)奇怪的地方不知道是怎么回事，非調(diào)試模式下較調(diào)試模式下速度都相對(duì)提高，lxml卻是變慢了。
5、總結(jié)
lxml不負(fù)眾望速度是除正則外最快的，小眾的SimplifiedDoc速度挺快，使用方法也簡(jiǎn)單，值得大家試用一下。
| 名稱 | 安裝難度 | 使用難度 | 速度 | 包大小 |
|---|---|---|---|---|
| 正則 | 無（內(nèi)置） | 困難 | 最快 | 無 |
| lxml | 一般 | 一般 | 快 | 大 |
| BeautifulSoup | 簡(jiǎn)單 | 容易 | 慢 | 較小 |
| SimplifiedDoc | 簡(jiǎn)單 | 容易 | 較快 | 小 |
