前言

• 蛋肥這次想嘗試一下爬取APP的數(shù)據(jù)，作為一個萬年潛水的老Jr，這次選擇虎撲APP論美區(qū)照片作為爬取目標，純屬出于學術(shù)研究，沒有其他目的（嘿嘿）。

準備

爬取時間：2021/02/02
系統(tǒng)環(huán)境：Windows 10
所用工具：Jupyter Notebook\Python 3.0\Fiddler\雷神模擬器
涉及的庫：requests\json

獲取基礎數(shù)據(jù)

小提示
①模擬器不要用Android 7.0以上的內(nèi)核，可能會導致抓包失敗。
②因為url簽名會定期刷新，所以抓包后需盡快執(zhí)行代碼，不然url會失效。
參考資料
使用fiddler+模擬器進行APP抓包

獲取url

蛋肥想法：原本計劃是利用Fiddler+雷神模擬器去完成數(shù)據(jù)抓包，找到數(shù)據(jù)的url規(guī)律，但實際操作發(fā)現(xiàn)，url里帶sign，百度了下sign的處理方法，感覺暫時超出了蛋肥的知識范圍，所以這次利用雷神模擬器自帶的“操作錄制”功能，將論美區(qū)的頁面自動下滑至底部，將Fiddler抓取的所有相關(guān)url地址導出，然后再去python里處理url。

#處理Fiddler里導出的url
file=open(r"C:\Users\Archer\Desktop\url.txt","r",encoding='utf-8')
url_list=file.read().split("\n")

Fiddler抓取的部分url

獲取cover地址

蛋肥想法：通過url請求json，觀察json結(jié)構(gòu)發(fā)現(xiàn)“cover”對應封面照片的地址，可用之獲取照片。

import requests
import json

#獲取cover地址
def getpic(url):
    piclink=[]
    for each in url:
        link=each
        headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0"}
        r=requests.get(link,headers=headers,timeout=10)
        json_string=r.text
        json_data=json.loads(json_string)
        coverlist=json_data["data"]["list"]
        for each in coverlist:
            #因某些list里沒有cover，做一個判斷
            if "cover" in each:
                p=each["cover"]
                piclink.append(p)
    return(piclink)

#執(zhí)行函數(shù)
a=getpic(url_list)
#為了獲取原圖去掉url里的resize
b=[x[:x.find("?")] for x in a]
#去掉列表里的空值
c=[x for x in b if x != ""]

獲取照片

#獲取照片
def downloadpic(link):
    for i in range(len(link)):
        print(link[i])
        piclink=link[i]
        pic=requests.get(piclink)
        with open(r'C:\Users\Archer\Desktop\論美區(qū)照片\img'+str(i)+'.png', 'wb') as f:
            f.write(pic.content)

#執(zhí)行函數(shù)   
downloadpic(c)

獲取的部分照片

總結(jié)

• 利用Fiddler可實現(xiàn)APP數(shù)據(jù)的爬取。
• 虎撲論美區(qū)網(wǎng)圖是真的多。