Python爬蟲:基于大量數(shù)據(jù)源的定制化爬蟲(二)

你餓不餓

程序的主流程順序是:當(dāng)前頁(yè)面列表識(shí)別-->后續(xù)任務(wù)生成

下面按照重要以及有趣的順序介紹。

1.列表頁(yè)識(shí)別

首先我們不妨去思考,作為活生生的人你如何發(fā)現(xiàn)這個(gè)頁(yè)面是你想要的列表頁(yè)?是不是因?yàn)槟憧梢?b>一眼就看見(jiàn)列表?那么列表頁(yè)面的規(guī)則我們基本就找全了:

? ? 1.排列規(guī)則的鏈接被你認(rèn)為是列表

? ? 2.你能一眼看見(jiàn)這些排列規(guī)則的鏈接說(shuō)明它們的整體區(qū)域在你的主視圖范圍內(nèi)。只要你認(rèn)同以上想法,認(rèn)為頁(yè)面中心的列表才是我們想要的列表就可以看下面的流程圖了。

列表識(shí)別流程圖

? ? 1.連續(xù)多列表塊,如http://www.chinasafety.gov.cn/newpage/aqbz/aqbz_gjbzgb.htm。

? ? 2.加入權(quán)重打分機(jī)制一開始是為了過(guò)濾寫的比較詭異的導(dǎo)航欄,可以有效提高識(shí)別準(zhǔn)確性,不造成誤判。

? 3.而其他過(guò)濾規(guī)則,舉個(gè)例子 http://jgdw.chinasafety.gov.cn/login (隨便找的 大家意會(huì)一下)這種含有更多的肯定不是我們的目標(biāo)頁(yè)面,而更多點(diǎn)進(jìn)去才是。

? 4.而加入頁(yè)面中有<h1>且h1中的文本與網(wǎng)頁(yè)的title相同,不要想了九成九是文章頁(yè),直接過(guò)濾就好,這是小樣本。

識(shí)別效果圖如下:

列表識(shí)別效果圖

2.目錄樹展開

假如頁(yè)面包含目錄樹,去嘗試展開,展開方式為執(zhí)行JavaScript(暴力展開或使用接口)。值得注意的是:

? ? 1.目錄樹就在當(dāng)前頁(yè)面

? ? 2.目錄樹在iframe中

這兩點(diǎn)需要區(qū)分對(duì)待,但其實(shí)除了切換iframe這個(gè)步驟外,其他邏輯相同。

3.iframe處理

這個(gè)就很簡(jiǎn)單了,切進(jìn)去發(fā)現(xiàn)不是目錄樹后切出來(lái),根據(jù)其src屬性生成后續(xù)任務(wù)。

4.點(diǎn)擊事件與Ajax處理

此處Ajax與點(diǎn)擊事件做等同處理,鏈接中href屬性動(dòng)態(tài)生成的也走相同邏輯,將元素xpath與動(dòng)作作為參數(shù)傳至后續(xù)任務(wù),后續(xù)任務(wù)進(jìn)行點(diǎn)擊或其他操作。

主要邏輯就在上面了,后面還會(huì)寫一篇關(guān)于selenium的注意事項(xiàng)的文章,踩了不少坑。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 最近在做的事情比較坑也比較有趣,分享一下: 業(yè)務(wù)場(chǎng)景:有10w+的的網(wǎng)站,現(xiàn)在需要抓取這些網(wǎng)站下某些頻道的具體數(shù)據(jù)...
    Tony帶不帶水閱讀 2,630評(píng)論 0 11
  • Spring Cloud為開發(fā)人員提供了快速構(gòu)建分布式系統(tǒng)中一些常見(jiàn)模式的工具(例如配置管理,服務(wù)發(fā)現(xiàn),斷路器,智...
    卡卡羅2017閱讀 136,568評(píng)論 19 139
  • Android 自定義View的各種姿勢(shì)1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 179,048評(píng)論 25 709
  • 發(fā)現(xiàn) 關(guān)注 消息 iOS 第三方庫(kù)、插件、知名博客總結(jié) 作者大灰狼的小綿羊哥哥關(guān)注 2017.06.26 09:4...
    肇東周閱讀 15,338評(píng)論 4 61
  • 最近身邊不少去袋鼠國(guó)的朋友,問(wèn)問(wèn)見(jiàn)聞,發(fā)現(xiàn)除了考拉還是袋鼠,說(shuō)好的觀鯨呢?說(shuō)好的澳大利亞土著呢?最重要的是說(shuō)好拍些...
    植物迷穆穆閱讀 1,465評(píng)論 1 9

友情鏈接更多精彩內(nèi)容