總體算法

我們可以先不用著急,我們先來看看人工怎么去獲取,那么我們針對珍愛網(wǎng)我們應該怎么發(fā)現(xiàn)用戶呢?

  • 通過城市列表->城市->下一頁->用戶
  • 用過用戶->猜你喜歡
  • 通過已有的id-> +1猜測新的用戶id

那么這里大家可能有個疑問,我們我們通過id+1的方式獲取用戶信息,我們豈不是都可以拿到所有用戶的信息了呢?其實我們主要是想通過這個項目,讓大家學習更多Go語言的知識,其實我也是一個學習者了,我們有時候也要站在學習者的角度上看待這個問題,(這里隨便給大家一個學習的建議,沒事逛逛慕課網(wǎng)一門課也不貴,有自己想看的可以試試)我們也可以做的更通用一些,列表頁->詳情頁的模式還是很多的。。。。所以我們第三種方式就不用了?。?!
我們首先從http://www.zhenai.com/zhenghun這個網(wǎng)址進入,也就是一個城市列表頁,然后點擊到達城市的人員列表,點擊人員信息可以到達用戶的詳情頁,具體順序如下。。。。。

city.png

我們這里有個要注意的是如果有回執(zhí)的鏈接我們一定要過濾掉,不然就死循環(huán)了這肯定不是我們想要的,那么我們這個項目雖說是分布式的,但是我們不能一開始就寫分布式,我們要從單機版逐步推進最終掌握分布式爬蟲的開發(fā)要領。。。。
process.png

OK, 開始操作把?。。。?!

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。

相關閱讀更多精彩內(nèi)容

  • Android 自定義View的各種姿勢1 Activity的顯示之ViewRootImpl詳解 Activity...
    passiontim閱讀 179,036評論 25 709
  • 白茴早就記不清自己到底多少次自殺 但這一次,她再也沒有醒來 她睡著年少無知的薄涼 安然無事 ...
    葉清然閱讀 729評論 6 4
  • 源碼下載 源碼獲取有兩種渠道:一種是通過Spark官網(wǎng)直接下載,第二種是通過github直接將spark的代碼cl...
    零度沸騰_yjz閱讀 929評論 1 6
  • 功夫不負有心人,的確如此。 原本月初就應該制定出來與公司員簽訂的協(xié)議,卻一天一天的拖延。 今天早上終于下定決心把它...
  • 《奇葩大會》開播了,而且,居然請來了天山童姥何老師加盟!四個有文化又有趣的中老年男神,終于湊成了完整的一桌!感覺朝...
    彌撒貓閱讀 694評論 0 50

友情鏈接更多精彩內(nèi)容