Author| 塵世gu行
??????????????????????????轉(zhuǎn)載請(qǐng)注明出處 練習(xí)代碼為網(wǎng)上選取,如有侵權(quán)聯(lián)系刪除
lxml 是 一個(gè)HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 數(shù)據(jù)。
lxml和正則一樣，也是用 C 實(shí)現(xiàn)的，是一款高性能的 Python HTML/XML 解析器，我們可以利用之前學(xué)習(xí)的XPath語法，來快速的定位特定元素以及節(jié)點(diǎn)信息。
lxml python 官方文檔：http://lxml.de/index.html
需要安裝C語言庫，可使用 pip 安裝：pip install lxml（或通過wheel方式安裝）
初步使用
我們利用它來解析 HTML 代碼，簡(jiǎn)單示例：
# lxml_test.py
# 使用 lxml 的 etree 庫
from lxml import etree
text = '''
<div>
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a> # 注意，此處缺少一個(gè) </li> 閉合標(biāo)簽
</ul>
</div>
'''
#利用etree.HTML，將字符串解析為HTML文檔
html = etree.HTML(text)
# 按字符串序列化HTML文檔
result = etree.tostring(html)
print(result)
輸出結(jié)果：
<html><body>
<div>
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
</body></html>
lxml 可以自動(dòng)修正 html 代碼，例子里不僅補(bǔ)全了 li 標(biāo)簽，還添加了 body，html 標(biāo)簽。
文件讀取
除了直接讀取字符串，lxml還支持從文件里讀取內(nèi)容。我們新建一個(gè)hello.html文件：
<!-- hello.html -->
<div>
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
再利用 etree.parse() 方法來讀取文件。
# lxml_parse.py
from lxml import etree
# 讀取外部文件 hello.html
html = etree.parse('./hello.html')
result = etree.tostring(html, pretty_print=True)
print(result)
輸出結(jié)果與之前相同：
<html><body>
<div>
<ul>
<li class="item-0"><a href="link1.html">first item</a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
</div>
</body></html>
XPath實(shí)例測(cè)試
1. 獲取所有的 <li> 標(biāo)簽
# xpath_li.py
from lxml import etree
html = etree.parse('hello.html')
print type(html) # 顯示etree.parse() 返回類型
result = html.xpath('//li')
print result # 打印<li>標(biāo)簽的元素集合
print len(result)
print type(result)
print type(result[0])
輸出結(jié)果：
<type 'lxml.etree._ElementTree'>
[<Element li at 0x1014e0e18>, <Element li at 0x1014e0ef0>, <Element li at 0x1014e0f38>, <Element li at 0x1014e0f80>, <Element li at 0x1014e0fc8>]
5
<type 'list'>
<type 'lxml.etree._Element'>
2. 繼續(xù)獲取<li> 標(biāo)簽的所有 class屬性
# xpath_li.py
from lxml import etree
html = etree.parse('hello.html')
result = html.xpath('//li/@class')
print result
運(yùn)行結(jié)果
['item-0', 'item-1', 'item-inactive', 'item-1', 'item-0']
3. 繼續(xù)獲取<li>標(biāo)簽下hre 為 link1.html 的 <a> 標(biāo)簽
# xpath_li.py
from lxml import etree
html = etree.parse('hello.html')
result = html.xpath('//li/a[@href="link1.html"]')
print result
運(yùn)行結(jié)果
[<Element a at 0x10ffaae18>]
4. 獲取<li> 標(biāo)簽下的所有 <span> 標(biāo)簽
# xpath_li.py
from lxml import etree
html = etree.parse('hello.html')
#result = html.xpath('//li/span')
#注意這么寫是不對(duì)的：
#因?yàn)?/ 是用來獲取子元素的，而 <span> 并不是 <li> 的子元素，所以，要用雙斜杠
result = html.xpath('//li//span')
print result
運(yùn)行結(jié)果
[<Element span at 0x10d698e18>]
5. 獲取 <li> 標(biāo)簽下的<a>標(biāo)簽里的所有 class
# xpath_li.py
from lxml import etree
html = etree.parse('hello.html')
result = html.xpath('//li/a//@class')
print result
運(yùn)行結(jié)果
['blod']
6. 獲取最后一個(gè) <li> 的 <a> 的 href
# xpath_li.py
from lxml import etree
html = etree.parse('hello.html')
result = html.xpath('//li[last()]/a/@href')
# last() 可以找到最后一個(gè)元素
print result
運(yùn)行結(jié)果
['link5.html']
7. 獲取倒數(shù)第二個(gè)元素的內(nèi)容
# xpath_li.py
from lxml import etree
html = etree.parse('hello.html')
result = html.xpath('//li[last()-1]/a')
# text 方法可以獲取元素內(nèi)容
print result[0].text
運(yùn)行結(jié)果
fourth item
8. 獲取 class 值為 bold 的標(biāo)簽名
# xpath_li.py
from lxml import etree
html = etree.parse('hello.html')
result = html.xpath('//*[@class="bold"]')
# tag方法可以獲取標(biāo)簽名
print result[0].tag
運(yùn)行結(jié)果
span
9. 模糊查詢
from lxml import etree
html = etree.parse('hello.html')
# xx[contains(@屬性，"查詢條件(模糊 %a%)")]
result = html.xpath('//li[contains(@class, "1")]')
print result
個(gè)人總結(jié):
1.要使用xpath必須導(dǎo)入lxml庫 : from lxml import etree
2.要把爬下來的字符串解析為 html 文檔 html = etree.HTML(text) 或者 html = etree.parse('./hello.html')
- xpath返回的是一個(gè)列表
