webmagic高級:(五)

這個呢,也就是我對webmagic 做的最后一篇的內(nèi)容了,在這個里面我打算說很多的的對象,只不過這些對象內(nèi)容較為簡單,或者說容易理解!?

? ? 首先呢,第一個對象就是pipeline 里面的ResultItems對象了!


ResultItems

? ? ? ?這個呢就是這個對象里面的所有的內(nèi)容,剩下的都是一些簡單的方法!, 有圖片我們可以看出來,ResultItems? 這個對象里面最核心的內(nèi)容就是一個Map一個用來存出一些數(shù)據(jù)的集合!在自己解析完頁面之后,將自己需要保存的一些數(shù)據(jù)傳到這個里面去,然后在pipe line 里面進行一些保存,就是這個樣子;了!

剩下的,就是代理!


Proxy

干過爬蟲的人呢,都會知道代理這個詞,而webmagic呢,內(nèi)部也是集成了代理系統(tǒng)的!??

? ?相應(yīng)的,有代理就會有代理池了!


ProxyProvider

? 這個呢,就是webmagic 內(nèi)部集成的代理池了。 具體使用方法,請自己摸索,我沒有使用過他內(nèi)部自己集成的代理。 而且官網(wǎng)也沒有這部分內(nèi)容哦!?

https://blog.csdn.net/qq_36783371? 一個大佬寫的博客,歡迎去砸雞蛋!

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容