我們可以先不用著急,我們先來看看人工怎么去獲取,那么我們針對珍愛網(wǎng)我們應該怎么發(fā)現(xiàn)用戶呢?
- 通過城市列表->城市->下一頁->用戶
- 用過用戶->猜你喜歡
- 通過已有的id-> +1猜測新的用戶id
那么這里大家可能有個疑問,我們我們通過id+1的方式獲取用戶信息,我們豈不是都可以拿到所有用戶的信息了呢?其實我們主要是想通過這個項目,讓大家學習更多Go語言的知識,其實我也是一個學習者了,我們有時候也要站在學習者的角度上看待這個問題,(這里隨便給大家一個學習的建議,沒事逛逛慕課網(wǎng)一門課也不貴,有自己想看的可以試試)我們也可以做的更通用一些,列表頁->詳情頁的模式還是很多的。。。。所以我們第三種方式就不用了?。?!
我們首先從http://www.zhenai.com/zhenghun這個網(wǎng)址進入,也就是一個城市列表頁,然后點擊到達城市的人員列表,點擊人員信息可以到達用戶的詳情頁,具體順序如下。。。。。

city.png
我們這里有個要注意的是如果有回執(zhí)的鏈接我們一定要過濾掉,不然就死循環(huán)了這肯定不是我們想要的,那么我們這個項目雖說是分布式的,但是我們不能一開始就寫分布式,我們要從單機版逐步推進最終掌握分布式爬蟲的開發(fā)要領。。。。

process.png
OK, 開始操作把?。。。?!