手機(jī)App采集手冊
手機(jī)App的采集其實(shí)跟web采集原理是一樣的，不一樣的地方在于需要通過電腦端去監(jiān)聽app發(fā)送和接收的包，其他對包的分析和編寫采集代碼跟web端相同。
準(zhǔn)備工具
分析工具：
- fiddler （app聽包）
- postman （url測試）
編碼工具：
- httpClient or OKHttpClient （網(wǎng)絡(luò)請求）
- Jsoup（html解析）
聽包設(shè)置
使用fiddler來監(jiān)聽app的包。需要先設(shè)置代理，將手機(jī)和電腦連到同一個(gè)局域網(wǎng)中。然后在手機(jī)上設(shè)置代理服務(wù)器，該服務(wù)器就是安裝fiddler的電腦。
第一步就是設(shè)置fiddler來監(jiān)聽手機(jī)發(fā)包
啟動(dòng)Fiddler，打開菜單欄中的 Tools > Fiddler Options，打開“Fiddler Options”對話框。
在Fiddler Options”對話框切換到“Connections”選項(xiàng)卡，然后勾選“Allow romote computers to connect”后面的復(fù)選框，然后點(diǎn)擊“OK”按鈕。
以IOS為例，點(diǎn)擊圖片中標(biāo)注的感嘆號(hào)進(jìn)入網(wǎng)絡(luò)連接界面
點(diǎn)擊配置代理，將代理設(shè)為手動(dòng)
在ip欄輸入電腦的ip，將端口設(shè)為8888
設(shè)置完之后，手機(jī)就可以通過電腦上網(wǎng)，同時(shí)fiddler能監(jiān)聽到app的數(shù)據(jù)收發(fā)。
Https請求的聽包設(shè)置
Https請求涉及到加密問題，fiddler需要設(shè)置https，手機(jī)也需要下載一個(gè)fiddler的https的認(rèn)證證書，才能通過fiddler來監(jiān)聽https的請求。
fiddler設(shè)置HTTPS，還是在Option里面，打開HTTPS配置項(xiàng)，勾選“CaptureHTTPS CONNECTs”，同時(shí)勾選“Decrypt HTTPS traffic”，彈出的對話框選擇是(首次點(diǎn)擊會(huì)彈出是否信任fiddler證書和安全提示，直接點(diǎn)擊yes就行)
手機(jī)通過瀏覽器訪問你電腦端的ip地址，我的就是192.168.20.157:8888，點(diǎn)擊圖中標(biāo)注部分來下載證書。
下載完證書之后需要激活證書，IOS在通用->關(guān)于本機(jī)->證書信任設(shè)置中激活。
獲取url
當(dāng)設(shè)置完成之后，打開手機(jī)App，正常情況下，fiddler就能顯示出手機(jī)app的請求列表了。如下圖所示
點(diǎn)擊一條url，會(huì)在右側(cè)顯示該url的詳細(xì)信息
當(dāng)拿到需要的url之后，就可以打開PostMan來測試這條URL來看看是否還需要其他參數(shù)和查看返回的格式化內(nèi)容。
另外一個(gè)偷懶的辦法來生成獲取內(nèi)容的編碼，PostMan也做了。點(diǎn)擊發(fā)送按鈕下的code，按照圖示選擇，將postMan生成的網(wǎng)絡(luò)請求代碼粘貼到你的采集代碼中，前提是你的項(xiàng)目中引入了OKHttpClient包
生成的代碼，代碼中可能有參數(shù)是需要?jiǎng)討B(tài)調(diào)整的，那就不能寫死了。該方法不做推薦，靈活使用
這里不涉及到防爬策咯,那么剩下的工作就是編碼了。
