數(shù)學(xué)建模已結(jié)束，剛開(kāi)始的目標(biāo)就是不熬夜，結(jié)果還是熬夜了（QAQ），緩了一天就來(lái)寫簡(jiǎn)書(shū)了，感覺(jué)很久沒(méi)爬蟲(chóng)了，今天就爬下移動(dòng)端的微博好友圈信息。
代碼
import requests
import json
headers = {
'Cookie':'xxxxxxxx',
'User_Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'
}
f = open('C:/Users/LP/Desktop/weibo.txt','a+',encoding='utf-8')
def get_info(url,page):
html = requests.get(url,headers=headers)
json_data = json.loads(html.text)
card_groups = json_data[0]['card_group']
for card_group in card_groups:
f.write(card_group['mblog']['text'].split(' ')[0]+'\n')
next_cursor = json_data[0]['next_cursor']
if page<50:
next_url = 'https://m.weibo.cn/index/friends?format=cards&next_cursor='+str(next_cursor)+'&page=1'
page = page + 1
get_info(next_url,page)
else:
pass
f.close()
if __name__ == '__main__':
url = 'https://m.weibo.cn/index/friends?format=cards'
get_info(url,1)
代碼分析
- 提交cookie模擬登陸微博
-
好友圈的信息也是異步加載，如圖為第一頁(yè)的url
看下返回的數(shù)據(jù)中，這個(gè)next_cursor很重要?。。?！
往下翻頁(yè)，如圖，可以看出第二頁(yè)的url中也有next_cursor，剛好是第一頁(yè)返回的！?。。?！
- 這樣就可以構(gòu)造多頁(yè)url，爬取數(shù)據(jù)啦
詞云
最后，jieba分詞做了一個(gè)詞云，除了二哈，感覺(jué)全是群主的，被刷屏了。
