興化吳奇隆之python3.7.2爬蟲(chóng)LXML實(shí)現(xiàn)翻頁(yè)

分兩步:
一、對(duì)網(wǎng)址進(jìn)行解構(gòu)化,比如之前的網(wǎng)址是:

https://movie.douban.com/review/9936402/?start=0

發(fā)現(xiàn)其中的最后一個(gè)數(shù)字0是有規(guī)律的上漲,有的是20、20 的上漲,封頂是327頁(yè)(后期也可以自動(dòng)提?。?br> 把網(wǎng)址解構(gòu)化為

url = 'https://movie.douban.com/review/9936402/?start={}'.format(pageNum*20)

使用的是一個(gè)for循環(huán),初始為0,記住這是第一次循環(huán),接著寫入。
二、第二次for循環(huán)一定要在第一次目錄下,實(shí)現(xiàn)兩個(gè)爬取的內(nèi)容疊加。

    with open('C:/Users/Administrator/Desktop/新建文本文檔.txt','w',encoding="utf-8")as f:
        for n in range(len(result)):
            jieguo = "用戶@" + result[n] + "@發(fā)表:" + result2[n]
            print(jieguo)
            f.write(jieguo+'\n')#寫入數(shù)據(jù)

下面是一個(gè)總的代碼:

import requests
from lxml import html
for pageNum in range(327):
    url = 'https://movie.douban.com/review/9936402/?start={}'.format(pageNum*327)
    page=requests.Session().get(url)
    tree=html.fromstring(page.content)
    result=tree.xpath('//div[@class="content report-comment"]//div[@class="header"]/a/text()') #需要獲取的數(shù)據(jù)
    result2=tree.xpath('//div[@class="content report-comment"]//p[@class="comment-text"]/text()')
    n = 0
    with open('C:/Users/Administrator/Desktop/新建文本文檔.txt','w',encoding="utf-8")as f:
        for n in range(len(result)):
            jieguo = "用戶@" + result[n] + "@發(fā)表:" + result2[n]
            print(jieguo)
            f.write(jieguo+'\n')#寫入數(shù)據(jù)
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 發(fā)現(xiàn) 關(guān)注 消息 iOS 第三方庫(kù)、插件、知名博客總結(jié) 作者大灰狼的小綿羊哥哥關(guān)注 2017.06.26 09:4...
    肇東周閱讀 15,359評(píng)論 4 61
  • 又一本書(shū)搞定(ノ゜?゜)ノ 今年讀書(shū)還算可以呀,囫圇吞棗,不求甚解……
    自由和安閱讀 260評(píng)論 2 0
  • 孩子是我們的動(dòng)力,如果做家長(zhǎng)不努力孩子怎么能努力。我發(fā)現(xiàn)他太粗心啦,做算術(shù)總是錯(cuò)一兩道,老是有個(gè)壞毛病,看著動(dòng)畫片...
    尹子王軒媽媽一年級(jí)四班閱讀 194評(píng)論 0 0
  • 總是對(duì)于未來(lái)有各種各樣的想法,這周是考試周,在九八五果然不是好混的,室友學(xué)霸及學(xué)神的氣質(zhì)壓的我喘不過(guò)氣,只想分...
    喔喔毛毛蟲(chóng)閱讀 203評(píng)論 0 0
  • 在人生的歷程中,人們的幸福生活在很大程度上要依靠人們自身的努力,依靠自己的勤奮、自我修煉、自我磨練和自律自制。
    洋氵羊閱讀 238評(píng)論 0 0

友情鏈接更多精彩內(nèi)容