IP屬地:廣西
憑什么你可以靠辱罵他人茍活于世? 簡書就這樣了?
可以看出只有最后的數(shù)字在變化,所以進(jìn)行url的構(gòu)造,然后開始爬取
# 觀察該頁面的加載方式 分析產(chǎn)生的url與前一頁存在id的關(guān)系 獲取的數(shù)據(jù)
一共創(chuàng)建了三個(gè)表 yidong dianxin liantong。用來分別保存所爬取的數(shù)據(jù)
推薦看MongoDB的官方文檔,有興趣的小伙伴們可以一起學(xué)習(xí)喲
存在的問題: 1、通過推薦粉絲進(jìn)行爬取無法全部獲得。 2、爬取速度過慢,代碼需要優(yōu)化 3、寫入用戶信息時(shí),粉絲信息寫入了兩遍,這個(gè)可以忽略......