寫了個(gè)爬蟲,可以獲取抖音的全部數(shù)據(jù),比如:用戶信息、音樂信息、視頻信息等等
業(yè)余時(shí)間寫,用來爬取視頻,然后調(diào)用AI圖片識別接口,分類識別美女妹妹的(手動(dòng)奸笑)
爬蟲原理
- 抓包,抓包手機(jī)app的數(shù)據(jù)請求,分析后是http/https的post請求
- java代碼模擬http請求,使用Hutool工具包
- 請求到數(shù)據(jù)是json,使用阿里的fastjson解析
- 總計(jì)java代碼不夠50行,使用了很多jar包,都是現(xiàn)成的功能
- 最后做了一個(gè)數(shù)據(jù)共享功能,每個(gè)人爬取的數(shù)據(jù)都會發(fā)送到服務(wù)器保存一份,也就是說使用的人越多,爬取速度越快,天然分布式、多線程,為自己的機(jī)智點(diǎn)贊!
成果展示




運(yùn)行過程

作者信息

音頻

視頻
軟件下載地址 :
https://github.com/liupeng328/GetDouYin/tree/master/%E5%AE%89%E8%A3%85%E5%8C%85
源代碼放到了GitHub,有興趣的拿去研究:https://github.com/liupeng328/GetDouYin