聲明

本文章中所有內(nèi)容僅供學(xué)習(xí)交流，抓包內(nèi)容、敏感網(wǎng)址、數(shù)據(jù)接口均已做脫敏處理，嚴(yán)禁用于商業(yè)用途和非法用途，否則由此產(chǎn)生的一切后果均與作者無(wú)關(guān)，若有侵權(quán)，請(qǐng)聯(lián)系我立即刪除！

逆向目標(biāo)

• 目標(biāo)：某政務(wù)服務(wù)網(wǎng) —> 政民互動(dòng) —> 我要咨詢
• 主頁(yè)：aHR0cDovL3p3Zncuc2FuLWhlLmdvdi5jbi9pY2l0eS9pY2l0eS9ndWVzdGJvb2svaW50ZXJhY3Q=
• 接口：aHR0cDovL3p3Zncuc2FuLWhlLmdvdi5jbi9pY2l0eS9hcGktdjIvYXBwLmljaXR5Lmd1ZXN0Ym9vay5Xcml0ZUNtZC9nZXRMaXN0
• 逆向參數(shù)：
  • Request Headers：Cookie: ICITYSession=fe7c34e21abd46f58555124c64713513
  • Query String Parameters：s=eb84531626075111111&t=4071_e18666_1626075203000
  • Request Payload：{"start":0,"limit":7,"TYPE@=":"2","OPEN@=":"1"}

逆向過(guò)程

繞過(guò)無(wú)限 debugger

我們嘗試抓包，打開(kāi)開(kāi)發(fā)者工具，刷新一下頁(yè)面，會(huì)發(fā)現(xiàn)此時(shí)頁(yè)面被斷到 debugger 的位置，點(diǎn)擊下一步，又會(huì)被斷到另一個(gè) debugger 的位置，這種情況就是無(wú)限 debugger，無(wú)限 debugger 存在的意義就是防止一部分人進(jìn)行調(diào)試，但事實(shí)上繞過(guò)無(wú)限 debugger 的方法非常簡(jiǎn)單，方法也非常多，以下介紹常用的幾種繞過(guò)方法。

1.Never pause here

在 debugger 位置，點(diǎn)擊行號(hào)，右鍵 Never pause here，永遠(yuǎn)不在此處斷下即可：

01.png

02.png

2. Add conditional breakpoint

同樣右鍵選擇 Add conditional breakpoint，輸入 false 即可跳過(guò)無(wú)限 debugger，其原理是添加條件斷點(diǎn)，不管前面代碼的邏輯是什么，運(yùn)行到 debugger 的時(shí)候必定是 true 才能執(zhí)行，只需要將其改為 false，那么它就不執(zhí)行了：

03.png

3.中間人攔截替換無(wú)限 debug 函數(shù)

所謂中間人攔截替換，就是貍貓換太子，將原來(lái)的含有無(wú)限 debugger 的函數(shù)給替換掉，這種方法適用于知道無(wú)限 debugger 函數(shù)所在的具體 JS 文件，重寫(xiě) JS 文件，使其不含有無(wú)限 debugger 的函數(shù)，利用第三方工具將原來(lái)的 JS 文件替換成重寫(xiě)過(guò)后的文件，這類工具有很多，例如瀏覽器插件 ReRes，它通過(guò)指定規(guī)則，可以把請(qǐng)求映射到其他的 URL，也可以映射到本機(jī)的文件或者目錄，抓包軟件 Fidder 的 Auto responder 功能，也可以實(shí)現(xiàn)替換。

4.方法置空

直接在 Console 中將無(wú)限 debugger 的函數(shù)重寫(xiě)置空也可以破解無(wú)限 debugger，缺點(diǎn)是刷新后失效，基本上不太常用。

抓包分析

繞過(guò)無(wú)限 debugger 后，點(diǎn)擊下一頁(yè)進(jìn)行抓包分析，數(shù)據(jù)接口類似于：http://zwfw.xxxxxx.gov.cn/icity/api-v2/app.icity.guestbook.WriteCmd/getList?s=d455731630315957615&t=2491_d51515_1630315979000，Cookie、Query String Parameters 和 Request Payload 的參數(shù)需要我們解決。

04.png

參數(shù)逆向

首先是 Cookie，直接搜索，可以發(fā)現(xiàn)在首頁(yè)的請(qǐng)求中，Set-Cookie 里設(shè)置了 cookie 值，那么使用 get 方法請(qǐng)求主頁(yè)，在 response 里面直接取 Cookie 即可：

05.png

Request Payload 的參數(shù)經(jīng)過(guò)觀察可以發(fā)現(xiàn) start 每一頁(yè) +7，其他參數(shù)不變

Query String Parameters 的兩個(gè)參數(shù) s 和 t，是經(jīng)過(guò) JS 加密后得到的。

全局搜索 s 這個(gè)參數(shù)，由于 s 太多，可以嘗試搜索 var s，可以找到一個(gè) var sig 的地方，這段函數(shù)后面有兩個(gè)比較明顯的語(yǔ)句：curUrl += "?s=" + sig; curUrl += "&t=" + t;，不難看出是 URL 拼接語(yǔ)句，s 參數(shù)就是 sig，埋下斷點(diǎn)，可以看到正是我們要找的參數(shù)：

06.png

將這段函數(shù) copy 下來(lái)進(jìn)行本地調(diào)試，會(huì)發(fā)現(xiàn)提示 LEx 未定義，直接跟進(jìn) LEx.isNotNull 這個(gè)函數(shù)，將原函數(shù) copy 下來(lái)即可：

07.png

08.png

再次調(diào)試，會(huì)提示 __signature 參數(shù)未定義，全局搜索發(fā)現(xiàn)這個(gè)值在主頁(yè)的 HTML 里面可以找到，直接正則表達(dá)式提取出來(lái)即可。

09.png

完整代碼

GitHub 關(guān)注 K 哥爬蟲(chóng)，持續(xù)分享爬蟲(chóng)相關(guān)代碼！歡迎 star ！https://github.com/kgepachong/

以下只演示部分關(guān)鍵代碼，不能直接運(yùn)行！完整代碼倉(cāng)庫(kù)地址：https://github.com/kgepachong/crawler/

JS 加密代碼

isNotNull = function (obj) {
    if (obj === undefined || obj === null || obj == "null" || obj === "" || obj == "undefined")
        return false;
    return true;
};

function getDecryptedParameters(__signature) {
    var sig = "";
    var chars = "0123456789abcdef";
    if (!isNotNull(__signature)) {
        var curTime = parseInt(Math.random() * (9999 - 1000 + 1) + 1000) + "" + Date.parse(new Date());
        sig = chars.charAt(parseInt(Math.random() * (15 - 15 + 1) + 10)) + chars.charAt(curTime.length) + "" + curTime;
    } else {
        sig = __signature;
    }

    var key = "";
    var keyIndex = -1;
    for (var i = 0; i < 6; i++) {
        var c = sig.charAt(keyIndex + 1);
        key += c;
        keyIndex = chars.indexOf(c);
        if (keyIndex < 0 || keyIndex >= sig.length) {
            keyIndex = i;
        }
    }

    var timestamp = parseInt(Math.random() * (9999 - 1000 + 1) + 1000) + "_" + key + "_" + Date.parse(new Date());
    var t = timestamp;
    //LEx.azdg.encrypt(timestamp,key);
    t = t.replace(/\+/g, "_");
    return {"s": sig, "t": t};
}

// 測(cè)試樣例
// console.log(getDecryptedParameters("c988121626057020055"))

Python 代碼

#!/usr/bin/env python3
# -*- coding: utf-8 -*-


import re

import execjs
import requests


index_url = '脫敏處理，完整代碼關(guān)注 GitHub：https://github.com/kgepachong/crawler'
data_url = '脫敏處理，完整代碼關(guān)注 GitHub：https://github.com/kgepachong/crawler'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}
session = requests.session()


def get_encrypted_parameters(signature):
    with open('encrypt.js', 'r', encoding='utf-8') as f:
        js = f.read()
    encrypted_parameters = execjs.compile(js).call('getDecryptedParameters', signature)
    return encrypted_parameters


def get_signature_and_cookies():
    response = session.get(url=index_url, headers=headers)
    cookies = response.cookies.get_dict()
    cookie = cookies['ICITYSession']
    signature = re.findall(r'signature = "(.*)"', response.text)[0]
    return cookie, signature


def get_data(cookie, parameters, page):
    payload_data = {'start': page*7, 'limit': 7, 'TYPE@=': '2', 'OPEN@=': '1'}
    params = {'s': parameters['s'], 't': parameters['t']}
    cookies = {'ICITYSession': cookie}
    response = session.post(url=data_url, headers=headers, json=payload_data, params=params, cookies=cookies).json()
    print(payload_data, response)


def main():
    ck, sig = get_signature_and_cookies()
    for page in range(10):
        # 采集10頁(yè)數(shù)據(jù)
        param = get_encrypted_parameters(sig)
        get_data(ck, param, page)


if __name__ == '__main__':
    main()