IP屬地:貴州
憑什么你可以靠辱罵他人茍活于世? 簡書就這樣了?
可以看出只有最后的數(shù)字在變化,所以進行url的構(gòu)造,然后開始爬取
# 觀察該頁面的加載方式 分析產(chǎn)生的url與前一頁存在id的關(guān)系 獲取的數(shù)據(jù)
一共創(chuàng)建了三個表 yidong dianxin liantong。用來分別保存所爬取的數(shù)據(jù)
推薦看MongoDB的官方文檔,有興趣的小伙伴們可以一起學習喲
存在的問題: 1、通過推薦粉絲進行爬取無法全部獲得。 2、爬取速度過慢,代碼需要優(yōu)化 3、寫入用戶信息時,粉絲信息寫入了兩遍,這個可以忽略......