IP屬地:湖南
憑什么你可以靠辱罵他人茍活于世? 簡(jiǎn)書(shū)就這樣了?
可以看出只有最后的數(shù)字在變化,所以進(jìn)行url的構(gòu)造,然后開(kāi)始爬取
# 觀察該頁(yè)面的加載方式 分析產(chǎn)生的url與前一頁(yè)存在id的關(guān)系 獲取的數(shù)據(jù)
一共創(chuàng)建了三個(gè)表 yidong dianxin liantong。用來(lái)分別保存所爬取的數(shù)據(jù)
推薦看MongoDB的官方文檔,有興趣的小伙伴們可以一起學(xué)習(xí)喲
存在的問(wèn)題: 1、通過(guò)推薦粉絲進(jìn)行爬取無(wú)法全部獲得。 2、爬取速度過(guò)慢,代碼需要優(yōu)化 3、寫(xiě)入用戶信息時(shí),粉絲信息寫(xiě)入了兩遍,這個(gè)可以忽略......