XPath語法和lxml模塊

什么是XPath？

xpath（XML Path Language）是一門在XML和HTML文檔中查找信息的語言，可用來在XML和HTML文檔中對元素和屬性進(jìn)行遍歷。

XPath開發(fā)工具

Chrome插件XPath Helper。
Firefox插件Try XPath。

XPath語法

選取節(jié)點：

XPath 使用路徑表達(dá)式來選取 XML 文檔中的節(jié)點或者節(jié)點集。這些路徑表達(dá)式和我們在常規(guī)的電腦文件系統(tǒng)中看到的表達(dá)式非常相似。

表達(dá)式	描述	示例	結(jié)果
nodename	選取此節(jié)點的所有子節(jié)點	bookstore	選取bookstore下所有的子節(jié)點
/	如果是在最前面，代表從根節(jié)點選取。否則選擇某節(jié)點下的某個節(jié)點	/bookstore	選取根元素下所有的bookstore節(jié)點
//	從全局節(jié)點中選擇節(jié)點，隨便在哪個位置	//book	從全局節(jié)點中找到所有的book節(jié)點
@	選取某個節(jié)點的屬性	//book[@price]	選擇所有擁有price屬性的book節(jié)點
.	當(dāng)前節(jié)點	./a	選取當(dāng)前節(jié)點下的a標(biāo)簽

謂語：

謂語用來查找某個特定的節(jié)點或者包含某個指定的值的節(jié)點，被嵌在方括號中。
在下面的表格中，我們列出了帶有謂語的一些路徑表達(dá)式，以及表達(dá)式的結(jié)果：

路徑表達(dá)式	描述
/bookstore/book[1]	選取bookstore下的第一個子元素
/bookstore/book[last()]	選取bookstore下的倒數(shù)第二個book元素。
bookstore/book[position()<3]	選取bookstore下前面兩個子元素。
//book[@price]	選取擁有price屬性的book元素
//book[@price=10]	選取所有屬性price等于10的book元素

通配符

*表示通配符。

通配符	描述	示例	結(jié)果
*	匹配任意節(jié)點	/bookstore/*	選取bookstore下的所有子元素。
@*	匹配節(jié)點中的任何屬性	//book[@*]	選取所有帶有屬性的book元素。

選取多個路徑：

通過在路徑表達(dá)式中使用“|”運算符，可以選取若干個路徑。
示例如下：

//bookstore/book | //book/title
# 選取所有book元素以及book元素下所有的title元素

運算符：

[圖片上傳失敗...(image-18bc4a-1564403926211)]

lxml庫

lxml 是一個HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 數(shù)據(jù)。

lxml和正則一樣，也是用 C 實現(xiàn)的，是一款高性能的 Python HTML/XML 解析器，我們可以利用之前學(xué)習(xí)的XPath語法，來快速的定位特定元素以及節(jié)點信息。

lxml python 官方文檔：http://lxml.de/index.html

需要安裝C語言庫，可使用 pip 安裝：pip install lxml

基本使用：

我們可以利用他來解析HTML代碼，并且在解析HTML代碼的時候，如果HTML代碼不規(guī)范，他會自動的進(jìn)行補全。示例代碼如下：

# 使用 lxml 的 etree 庫
from lxml import etree 

text = '''
<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a> # 注意，此處缺少一個 </li> 閉合標(biāo)簽
     </ul>
 </div>
'''

#利用etree.HTML，將字符串解析為HTML文檔
html = etree.HTML(text) 

# 按字符串序列化HTML文檔
result = etree.tostring(html) 

print(result)

輸入結(jié)果如下：

<html><body>
<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
 </div>
</body></html>

可以看到。lxml會自動修改HTML代碼。例子中不僅補全了li標(biāo)簽，還添加了body，html標(biāo)簽。

從文件中讀取html代碼：

除了直接使用字符串進(jìn)行解析，lxml還支持從文件中讀取內(nèi)容。我們新建一個hello.html文件：

<!-- hello.html -->
<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>

然后利用etree.parse()方法來讀取文件。示例代碼如下：

from lxml import etree

# 讀取外部文件 hello.html
html = etree.parse('hello.html')
result = etree.tostring(html, pretty_print=True)

print(result)

輸入結(jié)果和之前是相同的。

在lxml中使用XPath語法：

獲取所有l(wèi)i標(biāo)簽：

 from lxml import etree

 html = etree.parse('hello.html')
 print type(html)  # 顯示etree.parse() 返回類型

 result = html.xpath('//li')

 print(result)  # 打印<li>標(biāo)簽的元素集合

獲取所有l(wèi)i元素下的所有class屬性的值：

 from lxml import etree

 html = etree.parse('hello.html')
 result = html.xpath('//li/@class')

 print(result)

獲取li標(biāo)簽下href為www.baidu.com的a標(biāo)簽：

 from lxml import etree

 html = etree.parse('hello.html')
 result = html.xpath('//li/a[@href="www.baidu.com"]')

 print(result)

獲取li標(biāo)簽下所有span標(biāo)簽：

 from lxml import etree

 html = etree.parse('hello.html')

 #result = html.xpath('//li/span')
 #注意這么寫是不對的：
 #因為 / 是用來獲取子元素的，而 <span> 并不是 <li> 的子元素，所以，要用雙斜杠

 result = html.xpath('//li//span')

 print(result)

獲取li標(biāo)簽下的a標(biāo)簽里的所有class：

 from lxml import etree

 html = etree.parse('hello.html')
 result = html.xpath('//li/a//@class')

 print(result)

獲取最后一個li的a的href屬性對應(yīng)的值：

 from lxml import etree

 html = etree.parse('hello.html')

 result = html.xpath('//li[last()]/a/@href')
 # 謂語 [last()] 可以找到最后一個元素

 print(result)

獲取倒數(shù)第二個li元素的內(nèi)容：

 from lxml import etree

 html = etree.parse('hello.html')
 result = html.xpath('//li[last()-1]/a')

 # text 方法可以獲取元素內(nèi)容
 print(result[0].text)

獲取倒數(shù)第二個li元素的內(nèi)容的第二種方式：

 from lxml import etree

 html = etree.parse('hello.html')
 result = html.xpath('//li[last()-1]/a/text()')

 print(result)

使用requests和xpath爬取電影天堂

示例代碼如下：

import requests
from lxml import etree

BASE_DOMAIN = 'http://www.dytt8.net'
HEADERS = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36',
    'Referer': 'http://www.dytt8.net/html/gndy/dyzz/list_23_2.html'
}

def spider():
    url = 'http://www.dytt8.net/html/gndy/dyzz/list_23_1.html'
    resp = requests.get(url,headers=HEADERS)
    # resp.content：經(jīng)過編碼后的字符串
    # resp.text：沒有經(jīng)過編碼，也就是unicode字符串
    # text：相當(dāng)于是網(wǎng)頁中的源代碼了
    text = resp.content.decode('gbk')
    # tree：經(jīng)過lxml解析后的一個對象，以后使用這個對象的xpath方法，就可以
    # 提取一些想要的數(shù)據(jù)了
    tree = etree.HTML(text)
    # xpath/beautifulsou4
    all_a = tree.xpath("http://div[@class='co_content8']//a")
    for a in all_a:
        title = a.xpath("text()")[0]
        href = a.xpath("@href")[0]
        if href.startswith('/'):
            detail_url = BASE_DOMAIN + href
            crawl_detail(detail_url)
            break

def crawl_detail(url):
    resp = requests.get(url,headers=HEADERS)
    text = resp.content.decode('gbk')
    tree = etree.HTML(text)
    create_time = tree.xpath("http://div[@class='co_content8']/ul/text()")[0].strip()
    imgs = tree.xpath("http://div[@id='Zoom']//img/@src")
    # 電影海報
    cover = imgs[0]
    # 電影截圖
    screenshoot = imgs[1]
    # 獲取span標(biāo)簽下所有的文本
    infos = tree.xpath("http://div[@id='Zoom']//text()")
    for index,info in enumerate(infos):
        if info.startswith("◎年　　代"):
            year = info.replace("◎年　　代","").strip()

        if info.startswith("◎豆瓣評分"):
            douban_rating = info.replace("◎豆瓣評分",'').strip()
            print(douban_rating)

        if info.startswith("◎主　　演"):
            # 從當(dāng)前位置，一直往下面遍歷
            actors = [info]
            for x in range(index+1,len(infos)):
                actor = infos[x]
                if actor.startswith("◎"):
                    break
                actors.append(actor.strip())
            print(",".join(actors))

if __name__ == '__main__':
    spider()

chrome相關(guān)問題：

在62版本（目前最新）中有一個bug，在頁面302重定向的時候不能記錄FormData數(shù)據(jù)。這個是這個版本的一個bug。詳細(xì)見以下鏈接：https://stackoverflow.com/questions/34015735/http-post-payload-not-visible-in-chrome-debugger。

在金絲雀版本中已經(jīng)解決了這個問題，可以下載這個版本繼續(xù)，鏈接如下：https://www.google.com/chrome/browser/canary.html

xpath語法：

使用方式：

使用//獲取整個頁面當(dāng)中的元素，然后寫標(biāo)簽名，然后再寫謂詞進(jìn)行提取。比如：

//div[@class='abc']

需要注意的知識點：

/和//的區(qū)別：/代表只獲取直接子節(jié)點。//獲取子孫節(jié)點。一般//用得比較多。當(dāng)然也要視情況而定。
contains：有時候某個屬性中包含了多個值，那么可以使用contains函數(shù)。示例代碼如下：
```
//div[contains(@class,'job_detail')]
```
謂詞中的下標(biāo)是從1開始的，不是從0開始的。

使用lxml解析HTML代碼：

解析html字符串：使用lxml.etree.HTML進(jìn)行解析。示例代碼如下：

htmlElement = etree.HTML(text)
print(etree.tostring(htmlElement,encoding='utf-8').decode("utf-8"))

解析html文件：使用lxml.etree.parse進(jìn)行解析。示例代碼如下：
```
htmlElement = etree.parse("tencent.html")
print(etree.tostring(htmlElement, encoding='utf-8').decode('utf-8'))
```
這個函數(shù)默認(rèn)使用的是XML解析器，所以如果碰到一些不規(guī)范的HTML代碼的時候就會解析錯誤，這時候就要自己創(chuàng)建HTML解析器。
```
parser = etree.HTMLParser(encoding='utf-8')
htmlElement = etree.parse("lagou.html",parser=parser)
print(etree.tostring(htmlElement, encoding='utf-8').decode('utf-8'))
```
lxml結(jié)合xpath注意事項：
1. 使用xpath語法。應(yīng)該使用Element.xpath方法。來執(zhí)行xpath的選擇。示例代碼如下：
```
trs = html.xpath("http://tr[position()>1]")
```
xpath函數(shù)返回來的永遠(yuǎn)是一個列表。
1. 獲取某個標(biāo)簽的屬性：
```
href = html.xpath("http://a/@href")
# 獲取a標(biāo)簽的href屬性對應(yīng)的值
```
2. 獲取文本，是通過xpath中的text()函數(shù)。示例代碼如下：
```
address = tr.xpath("./td[4]/text()")[0]
```
3. 在某個標(biāo)簽下，再執(zhí)行xpath函數(shù)，獲取這個標(biāo)簽下的子孫元素，那么應(yīng)該在斜杠之前加一個點，代表是在當(dāng)前元素下獲取。示例代碼如下：
```
 address = tr.xpath("./td[4]/text()")[0]
```

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

數(shù)據(jù)提取-XPath語法和lxml模塊

數(shù)據(jù)提取-XPath語法和lxml模塊

XPath語法和lxml模塊

什么是XPath？

XPath開發(fā)工具

XPath語法

選取節(jié)點：

謂語：

通配符

選取多個路徑：

運算符：

lxml庫

基本使用：

從文件中讀取html代碼：

在lxml中使用XPath語法：

使用requests和xpath爬取電影天堂

chrome相關(guān)問題：

xpath語法：

使用方式：

需要注意的知識點：

使用lxml解析HTML代碼：

lxml結(jié)合xpath注意事項：

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九 欧美,1769亚洲,黄色成人av

數(shù)據(jù)提取-XPath語法和lxml模塊

XPath語法和lxml模塊

什么是XPath？

XPath開發(fā)工具

XPath語法

選取節(jié)點：

謂語：

通配符

選取多個路徑：

運算符：

lxml庫

基本使用：

從文件中讀取html代碼：

在lxml中使用XPath語法：

使用requests和xpath爬取電影天堂

chrome相關(guān)問題：

xpath語法：

使用方式：

需要注意的知識點：

使用lxml解析HTML代碼：

lxml結(jié)合xpath注意事項：

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av