XPath 是一門在 XML 文檔中查找信息的語言。XPath 可用來在 XML 文檔中對元素和屬性進行遍歷，而將 HTML文檔轉(zhuǎn)換成 XML文檔后，就可以用 XPath 查找 HTML 節(jié)點或元素。

XML 文檔的特點：
XML 文檔中的每個成分都是一個節(jié)點。整個文檔是一個根節(jié)點；每個 XML 標簽是一個元素節(jié)點；包含在 XML 元素中的文本是文本節(jié)點；每一個 XML 屬性是一個屬性節(jié)點；注釋則屬于注釋節(jié)點。
其中，元素節(jié)點可以包含任意的元素節(jié)點、文本節(jié)點或?qū)傩怨?jié)點，而文本節(jié)點或?qū)傩怨?jié)點則不能包含節(jié)點。

XPath語法的特點：
XPath 使用路徑表達式在 XML 文檔中進行導航
XPath 包含一個標準函數(shù)庫
XPath 表達式可返回節(jié)點集、字符串、邏輯值以及數(shù)字。

常用的XPath 開發(fā)工具：
1.開源的XPath表達式編輯工具:XMLQuire（僅XML格式文件可用）。
2.Firefox插件 Try XPath。
3.Chrome插件 XPath Helper。推薦！可以直接在網(wǎng)頁上使用xpath定位元素，非常方便。（安裝詳情見參考文獻2）

一、XPath語法介紹

1. 選取節(jié)點

下表列出了常用的路徑表達式：

2.謂語

謂語：用來查找某個特定的節(jié)點或者包含某個指定屬性值的節(jié)點，被嵌在方括號中。

1. /bookstore/book[1]：選取屬于 bookstore 子元素的第一個 book 元素。注意位置順序是從1開始的，和python不一樣！
2. /bookstore/book[last()]：選取屬于 bookstore 子元素的最后一個 book 元素。
3. /bookstore/book[last()-1]：選取屬于 bookstore 子元素的倒數(shù)第二個 book 元素。
4. /bookstore/book[position()<3]：選取最前面的兩個屬于 bookstore 元素的子元素的 book 元素。
5. //title[@lang]：選取擁有 lang 屬性的 title 元素。
6. //title[@lang='eng']：選取 lang屬性值為'eng'的 title 元素。
7. /bookstore/book[@price>35.00]：選取 bookstore子元素中滿足條件的book 元素，條件：price屬性的值須大于 35.00。

3.XPath的運算符

1. 加法：+
2. 減法：-
3. 乘法：*
4. 除法：div
5. =：等于
6. !=：不等于
7. <：小于
8. <=：小于或等于
9. >：大于
10. >：大于或等于
11. or：或
12. and：與
13. mod：計算除法的余數(shù)

4.XPath的軸

軸可定義相對于當前節(jié)點的節(jié)點集。
語法：軸名稱::節(jié)點[謂語]

常用的軸：

1. ancestor：選取當前節(jié)點的所有先輩節(jié)點（父、祖父等）。
2. ancestor-or-self：選取當前節(jié)點的所有先輩節(jié)點（父、祖父等）以及當前節(jié)點本身。
3. attribute：選取當前節(jié)點的所有屬性。
4. self：選取當前節(jié)點。
5. child：選取當前節(jié)點的所有子節(jié)點。
6. parent：選取當前節(jié)點的父節(jié)點。
7. descendant：選取當前節(jié)點的所有后代節(jié)點（子、孫等）。
8. descendant-or-self：選取當前節(jié)點的所有后代節(jié)點（子、孫等）以及當前節(jié)點本身。

示例：

1. //li[@data="one"]/ancestor::div：選取屬性data="one"的li節(jié)點的所有div祖先節(jié)點。
2. //li[@data="one"]/ancestor::*：選取屬性data="one"的li標簽的所有祖先節(jié)點。
3. //div[@id="testid"]/attribute::*：選取id="testid"的div節(jié)點的所有屬性值。
4. //div[@id]/self::div[@data-h]/attribute::*：選取含id屬性和data-h屬性的div標簽的所有屬性值
5. //div[@id="testid"]/child::*：選取id="testid"的div節(jié)點的所有子節(jié)點。
6. //li[@data="one"]/parent::ol/li[last()]/text()：選取屬性data="one"的li節(jié)點的父節(jié)點ol，其最后一個li子節(jié)點的文本值。
   注意：由于每個元素節(jié)點只有唯一的一個父節(jié)點，所以“parent::父節(jié)點”等價于“parent::*” 。

5.XPath常用函數(shù)

1. contains ()函數(shù)：
   //div[ contains(@class, 'in') ]：選擇class屬性值中包含有’in’字符串的div節(jié)點。
2. text()函數(shù)：節(jié)點的文本值
   //a[text()='baidu']：選取文本值等于'baidu'的a節(jié)點。
   //a/text()：獲取a節(jié)點文本內(nèi)容。
3. last()函數(shù)：
   /bookstore/book[last()]：選取屬于 bookstore 子節(jié)點的最后一個 book 節(jié)點。
4. position()函數(shù)：返回節(jié)點的索引位置(從1開始)
   /bookstore/book[position()<=3]：選取屬于 bookstore 子節(jié)點的前三個 book 節(jié)點。
5. starts-with()函數(shù)：
   //div[starts-with(@class,'in')]：選擇class屬性值以字符串’in’開頭的div節(jié)點。
6. ends-with()函數(shù)：
   //div[ends-with(@class,'in')]：選擇class屬性值以字符串’in’結尾的div節(jié)點。
7. not()函數(shù)：表示否定
   //input[@name=‘identity’ and not( contains(@class,‘a(chǎn)’) )]：
   選擇屬性name=‘identity’ 并且 class屬性值中不包含字符’a’的input節(jié)點。
   not()函數(shù)通常與返回值為true or false的函數(shù)組合起來用，比如contains(),starts-with()等。但有一種特別情況需注意一下：//input[@id]：匹配出含有id屬性的input節(jié)點；//input[not(@id)]：匹配出不含有id屬性的input節(jié)點。

6.其他

1.通配符
使用通配符“*”可用來選取未知的 XML 元素。
*：匹配任何元素節(jié)點。
@*：匹配任何屬性節(jié)點。
node()：匹配任意類型的節(jié)點（元素、屬性、文本、注釋以及根節(jié)點）。

2.選取多條路徑
通過在路徑表達式中使用“|”運算符，可以選取多條路徑。
//book/title | //book/price：選取 book 元素的所有 title 和 price 元素。
//title | //price：選取文檔中的所有 title 和 price 元素。

二、xpath在python中的具體運用

lxml庫是一個XML、HTML的解析器，主要用于解析和提取XML、HTML數(shù)據(jù)。lxml庫先將HTML文檔解析，然后就可以使用XPath 搜索或遍歷HTML文檔中的節(jié)點。

使用lxml解析HTML數(shù)據(jù)的兩種方式：

1.解析HTML字符串：

from lxml import etree

# HTML字符串
text = '''
<bookstore>
  <book>
    <title lang="en">Harry Potter</title>
    <author>J K. Rowling</author>
    <name>杰克羅琳</name>
    <year>2005</year>
    <price>29.99</price>
  </book>
</bookstore>
'''

# 使用HTML()方法解析字符串
# HTML()默認使用的就是HTML解析器，如果遇到不規(guī)范的HTML代碼，會自動補全。
html_element = etree.HTML(text)

# 解析后就可以調(diào)用xpath方法了
name = html_element.xpath('//book/name/text()')
print(name)


# 返回值：
# ['杰克羅琳']

2.直接解析HTML文件：

from lxml import etree

# 創(chuàng)建HTML解析器，指定解析器使用的編碼格式(需要和文件編碼格式一致)
parser = etree.HTMLParser(encoding='utf-8')

# parse()默認的是XML解析器，在解析HTML代碼時，如果HTML代碼不規(guī)范,則會報錯！
# 因此需要指定解析器為HTML解析器，這樣不規(guī)范的HTML代碼，會自動補全！
html_element = etree.parse('./test.html', parser=parser)

#解析后就可以調(diào)用xpath方法了
name = html_element.xpath('//book/name/text()')
print(name)


# 返回值：
# ['杰克羅琳']

注意：
1.xpath返回的永遠是列表，即使沒有匹配到任何元素也返回的是空列表。
2.根節(jié)點和任意元素節(jié)點都可以使用xpath方法去搜索、遍歷其子節(jié)點。

# tostring()方法可以將節(jié)點對象轉(zhuǎn)換成字節(jié)，解碼后就可以查看節(jié)點內(nèi)容
author_ele = html_element.xpath('//book/author')[0]
result = etree.tostring(author_ele, encoding='utf-8').decode('utf-8')
print(result)


# 返回值：
# <author>J K. Rowling</author>&#13;

參考文獻：

1. HTML和XML的區(qū)別
2. XPath Helper插件安裝
3. XPath 教程