總的：
from lxml import etree- 對
html文本使用 etree.HTML(html)解析，得到Element對象
- （報錯可以嘗試 etree.HTML(html.decode('utf-8'))）
- html文本的獲取，比如：
request.get(url).text
- 對Element對象使用xpath篩選，返回一個列表（里面的元素也是Element）。
安裝：
我使用的wheel安裝，下載
使用說明（給定一個html如下）：
<html>
<head>
<meta name="content-type" content="text/html; charset=utf-8" />
<title>友情鏈接查詢 - 站長工具</title>
<!-- uRj0Ak8VLEPhjWhg3m9z4EjXJwc -->
<meta name="Keywords" content="友情鏈接查詢" />
<meta name="Description" content="友情鏈接查詢" />
</head>
<body>
<h1 class="heading">Top News</h1>
<p style="font-size: 200%">World News only on this page</p>
Ah, and here's some more text, by the way.
<p>... and this is a parsed fragment ...</p>
<a rel="nofollow" target="_blank">青少年發(fā)展基金會</a>
<a target="_blank">洛克王國</a>
<a target="_blank">奧拉星</a>
<a target="_blank">手機游戲</a>
<a target="_blank">手機壁紙</a>
<a target="_blank">4399小游戲</a>
<a target="_blank">91wan游戲</a>
</body>
</html>
-
解析html：
from lxml import etree
page = etree.HTML(html)
-
獲取標簽：
# a標簽
tag_a = page.xpath('/html/body/a')
print(tag_a)
# html 下的 body 下的所有 a
# 結果[<Element a at 0x34b1f08>, ...]
對于/html/body/a：“/”分隔上下級，最開始是文件本身（而不是html），文件下一級才是html
另外，使用//a效果等價于“html下的所有 a 標簽”：
因為：中間的“/”等于“descendant::”
“descendant::”前綴可以指代任意多層的中間節(jié)點，它也可以被省略成一個“/”
在本例中：因為上面的 html 中，所有 a 都在 body 中，所以：/html/body/a 等價于 /descendant::a等價于//a
-
獲取節(jié)點（標簽）屬性：
for a in tag_a:
print(a.attrib)
# 獲取屬性： {'target': '_blank', 'rel': 'nofollow', 'href': 'http://www.cydf.org.cn/'}
print(a.get('href'))
# 獲取某一屬性：http://www.cydf.org.cn/
print(a.text)
# 獲取文本： 青少年發(fā)展基金會
-
利用屬性篩選標簽
# 直接定位到<h1 class="heading">Top News</h1>
hs = page.xpath('//h1[@class="heading"]')
for h in hs:
print(h.values())
print(h.text)
# 打印結果：
# ['heading']
# Top News
上面還可以寫作：hs = page.xpath('/html/body/h1[@class="heading"]')
屬性還可以寫：
@name, @id, @value, @href, @src, @class....
沒有屬性可以用文本或者位置來篩選：
文本用 text()：
hs = page.xpath('/html/body/h1[text()="Top News"]')
位置用 position()：hs = page.xpath('//h1[position()=1]')
對于位置篩選，常常省略，直接用：hs = page.xpath('//h1[1]')
-
篩選任意標簽
*表示任意標簽
ts = page.xpath('/*')
for t in ts:
print(t.tag)
# 打印:html
# html是文件的唯一下一級標簽
ts = page.xpath('/html/*')
for t in ts:
print(t.tag)
# 打印:body
# body是html的唯一下一級標簽
ts = page.xpath('/html//*')
for t in ts:
print(t.tag)
# 打?。篵ody、p、meta、title、meta、meta、h1、p等等
獲取head里面的標簽要特別一點：
比如 ('//html/head/*') 或 ('//html/head/title')
-
關于preceding-sibling:: 和 following-sibling::：
preceding-sibling::前綴表示同一層的上一個節(jié)點。
following-sibling::前綴表示同一層的下一個節(jié)點。
following-sibling:: 就是任意下一個節(jié)點，而 “following-sibling::u” 就是下一個u節(jié)點。
preceding-sibling:: 同理。
sbs = page.xpath('//body//following-sibling::a')
for sb in sbs:
print(sb.tag)
# 打?。篴 a a a a a ...
sbs = page.xpath('//body/h1/following-sibling::*')
for sb in sbs:
print(sb.tag)
# h1 下，所有 h1 同級的子節(jié)點（標簽）
# 打?。簆 p a a a a ...
sbs = page.xpath('//body/h1/preceding-sibling::*')
for sb in sbs:
print(sb.tag)
# h1 上，所有 h1 同級的子節(jié)點（標簽）
# 打?。?p、meta、title、meta、meta
-
關于tail（給定新的html如下）：
<div class="news">
<b>無流量站點清理公告</b>
<br />
取不到的內(nèi)容
</div>
page = etree.HTML(html)
brs = page.xpath('//br')
for br in brs:
print(br.text)
print(br.tail.strip())
# 打?。? # None
# 取不到的內(nèi)容
主要因為，上面的 html 中“取不到的內(nèi)容”在兩個“/”之間，所以不能用 .text 直接上，要用tail。
tail 的意思是結束節(jié)點前面的內(nèi)容，也就是說在 “br /” 與 “/div” 之間的內(nèi)容
參考網(wǎng)頁：
李少宏·用lxml解析HTML
Marhol·Python+lxml解析html
無風·XPath學習:軸(8)——following-sibling
英文資料（備用吧）：
Elements and Element Trees
lxml - XML and HTML with Python
