聲明
本文章中所有內(nèi)容僅供學(xué)習(xí)交流，抓包內(nèi)容、敏感網(wǎng)址、數(shù)據(jù)接口均已做脫敏處理，嚴(yán)禁用于商業(yè)用途和非法用途，否則由此產(chǎn)生的一切后果均與作者無關(guān)，若有侵權(quán)，請聯(lián)系我立即刪除！
逆向目標(biāo)
- 目標(biāo)：加速樂加密逆向
- 網(wǎng)站：
aHR0cHM6Ly93d3cubXBzLmdvdi5jbi9pbmRleC5odG1s - 逆向難點(diǎn)：OB 混淆、動態(tài)加密算法、多層 Cookie 獲取
加速樂
加速樂是知道創(chuàng)宇推出的一款網(wǎng)站CDN加速、網(wǎng)站安全防護(hù)平臺。
加速樂的特點(diǎn)是訪問網(wǎng)站一般有三次請求：
- 第一次請求網(wǎng)站，網(wǎng)站返回的響應(yīng)狀態(tài)碼為 521，響應(yīng)返回的為經(jīng)過 AAEncode 混淆的 JS 代碼；
- 第二次請求網(wǎng)站，網(wǎng)站同樣返回的響應(yīng)狀態(tài)碼為 521，響應(yīng)返回的為經(jīng)過 OB 混淆的 JS 代碼；
- 第三次請求網(wǎng)站，網(wǎng)站返回的響應(yīng)狀態(tài)碼 200，即可正常訪問到網(wǎng)頁內(nèi)容。
逆向思路
根據(jù)我們上面講的加速樂的特點(diǎn)，我們想要獲取到真實(shí)的 HTML 頁面，需要經(jīng)過以下三個(gè)步驟：
- 第一次請求網(wǎng)站，服務(wù)器返回的 Set-Cookie 中攜帶 jsluid_s 參數(shù)，將獲取到的響應(yīng)內(nèi)容解密拿到第一次 jsl_clearance_s 參數(shù)的值；
- 攜帶第一次請求網(wǎng)站獲取到的 Cookie 值再次訪問網(wǎng)站，將獲取到的響應(yīng)內(nèi)容解混淆逆向拿到第二次 jsl_clearance_s 參數(shù)的值；
- 使用攜帶 jsluid_s 和 jsl_clearance_s 參數(shù)的 Cookie 再次訪問網(wǎng)站，獲取到真實(shí)的 HTML 頁面內(nèi)容，繼而采集數(shù)據(jù)。
抓包分析
進(jìn)入網(wǎng)站，打開開發(fā)者人員工具進(jìn)行抓包，在 Network 中我們可以看到，請求頁面發(fā)生了三次響應(yīng) index.html，且前兩次返回狀態(tài)碼為 521，符合加速樂的特點(diǎn)：
第一層 Cookie 獲取
直接查看 response 顯示無響應(yīng)內(nèi)容，我們通過 Fiddler 對網(wǎng)站進(jìn)行抓包，可以看到第一個(gè) index.html 返回的響應(yīng)內(nèi)容經(jīng)過 AAEncode 加密，大致內(nèi)容如下，可以看到一堆顏表情符號，還挺有意思的：
<script>
document.cookie=('_')+('_')+('j')+('s')+('l')+('_')+('c')+('l')+('e')+('a')+('r')+('a')+('n')+('c')+('e')+('_')+('s')+('=')+(-~[]+'')+((1+[2])/[2]+'')+(([2]+0>>2)+'')+((2<<2)+'')+(-~(8)+'')+(~~{}+'')+(6+'')+(7+'')+(~~[]+'')+((1<<2)+'')+('.')+((+true)+'')+(~~{}+'')+(9+'')+('|')+('-')+(+!+[]+'')+('|')+(1+6+'')+('n')+((1<<2)+'')+('k')+('X')+((2)*[4]+'')+('R')+('w')+('z')+('c')+(1+7+'')+('w')+('T')+('j')+('r')+('b')+('H')+('m')+('W')+('H')+('j')+([3]*(3)+'')+('G')+('X')+('C')+('t')+('I')+('%')+(-~[2]+'')+('D')+(';')+('m')+('a')+('x')+('-')+('a')+('g')+('e')+('=')+(3+'')+(3+3+'')+(~~{}+'')+(~~[]+'')+(';')+('p')+('a')+('t')+('h')+('=')+('/');location.href=location.pathname+location.search
</script>
document.cookie 里的顏表情串實(shí)際上是第一次 __jsl_clearance_s 的值，可以直接通過正則提取到加密內(nèi)容后，使用execjs.eval()方法即可得到解密后的值：
import re
import execjs
AAEncode_text = """以上內(nèi)容"""
content_first = re.findall('cookie=(.*?);location', AAEncode_text)[0]
jsl_clearance_s = execjs.eval(content_first).split(';')[0]
print(jsl_clearance_s)
# __jsl_clearance_s=1658906704.109|-1|7n4kX8Rwzc8wTjrbHmWHj9GXCtI%3D
第二層 Cookie 獲取
抓包到的第二個(gè) index.html 返回的是經(jīng)過 OB 混淆的 JS 文件，我們需要對其進(jìn)行調(diào)試分析，但是直接在網(wǎng)頁中通過 search 搜索很難找到該 JS 文件的位置，這里推薦兩種方式對其進(jìn)行定位：
1. 文件替換
右鍵點(diǎn)擊抓包到的第二個(gè)狀態(tài)碼為 521 的 index.html 文件，然后按照以下方式將其保存到本地：
保存到本地后會發(fā)現(xiàn) JS 文件被壓縮了不利于觀察，可以通過以下網(wǎng)站中的 JS 格式化工具將其格式化：https://spidertools.cn/#/formatJS，將格式化后的代碼粘貼到編輯器中進(jìn)行處理，可能需要一些微調(diào)，例如首尾 Script 標(biāo)簽前后會多出空格，在 < script > 后添加debugger;如下所示：
<script>
debugger;
var _0x1c58 = ['wpDCsRDCuA==', 'AWc8w7E=', 'w6llwpPCqA==', 'w61/wow7',
最后通過 Fiddler 對其替換，點(diǎn)擊 Add Rule 添加新的規(guī)則，如以下步驟即可完成替換：
以上操作完成后，開啟 Fiddler 抓包（F12 左下角顯示 Capturing 即抓包狀態(tài)），清除網(wǎng)頁緩存，刷新網(wǎng)頁，會發(fā)現(xiàn)成功斷住，即定位到了 JS 文件的位置，可斷點(diǎn)調(diào)試：
2. Hook Cookie 值
因?yàn)槲覀儷@取到的 JS 文件生成了 Cookie，其中包含 jsluid_s 和 jsl_clearance_s 參數(shù)的值，所以我們不妨直接 Hook Cookie 也能斷到 JS 文件的位置，對 Hook 方法不了解的可以看看 K 哥往期的文章，以下是 Hook 代碼：
(function () {
'use strict';
var org = document.cookie.__lookupSetter__('cookie');
document.__defineSetter__('cookie', function (cookie) {
if (cookie.indexOf('__jsl_clearance_s') != -1) {
debugger;
}
org = cookie;
});
document.__defineGetter__('cookie', function () {
return org;
});
})();
Hook 注入的方式有很多種，這里通過 Fiddler 中的插件進(jìn)行注入，該插件在 K 哥爬蟲公眾號中發(fā)送【Fiddler 插件】即可獲取：
同樣，設(shè)置完成后開啟抓包，清除網(wǎng)頁緩存，刷新網(wǎng)頁，頁面也能被順利斷住，上半部分就是我們通過 Hook 方式注入的代碼段，顯示出了 Cookie 中 __jsl_clearance_s 關(guān)鍵字的值，下面框起來的部分格式化后會發(fā)現(xiàn)就是之前經(jīng)過 OB 混淆的 JS 文件內(nèi)容：
調(diào)試分析 JS 文件
經(jīng)過 Hook 之后，往前跟棧就能找到加密位置，我們知道 JavaScript 中一般使用 document.cookie 屬性來創(chuàng)建 、讀取、及刪除 cookie，經(jīng)過分析 JS 文件中的一些參數(shù)是在動態(tài)變換的，所以我們使用本地替換的方式固定一套下來，然后在該 JS 文件中通過 CTRL + F 搜索 document，只有一個(gè)，在第 558 行打斷點(diǎn)調(diào)試，選中_0x2a9a('0xdb', 'WGP(') + 'ie'后鼠標(biāo)懸停會發(fā)現(xiàn)這里就是 cookie 經(jīng)過混淆后的樣式：
將等號后面的內(nèi)容全部選中，鼠標(biāo)懸停在上面可以發(fā)現(xiàn)，這里生成了 Cookie 中 __jsl_clearance_s 參數(shù)的值：
至此，我們知道了 Cookie 生成的位置，接下來就需要了解其加密邏輯和加密方法，然后通過 python 對其進(jìn)行復(fù)現(xiàn)了，document 部分完整的代碼如下：
document[_0x2a9a('0xdb', 'WGP(') + 'ie'] = _0x2228a0[_0x2a9a('0x52', '$hOV') + 'W'](_0x2228a0[_0x2a9a('0x3', '*hjw') + 'W'](_0x2228a0[_0x2a9a('0x10b', 'rV*F') + 'W'](_0x60274b['tn'] + '=' + _0x732635[0x0], _0x2228a0[_0x2a9a('0x3d', 'QRZ0') + 'q']), _0x60274b['vt']), _0x2228a0[_0x2a9a('0x112', ']A89') + 'x']);
OB 混淆相關(guān)內(nèi)容可以觀看 K 哥往期文章，這里等號后面的內(nèi)容比較冗雜，其實(shí)我們想要獲取的是 jsl_clearance_s 參數(shù)的值，通過調(diào)試可以看到其值由0x60274b['tn'] + '=' + _0x732635[0x0]生成:
由上可知0x60274b['tn']對應(yīng)的部分是 __jsl_clearance_s，而其值是0x732635[0x0]，因此我們需要進(jìn)一步跟蹤 0x732635 生成的位置，通過搜索，在第 538 行可以找到其定義生成的位置，打斷點(diǎn)調(diào)試可以看到，0x732635[0x0]其實(shí)就是取了 0x732635 數(shù)組中的第一個(gè)位置的值：
我們來進(jìn)一步分析 0x732635 后面代碼各自的含義，_0x14e035(_0x60274b['ct'])取的是 go 函數(shù)傳入的字典中 ct 參數(shù)的值：
go({
"bts": ["1658906704.293|0|YYj", "Jm5cKs%2B1v1GqTYAtpQjthM%3D"],
"chars": "vUzQIgamgWnnFOJyKwXiGK",
"ct": "690f55a681f304c95b35941b20538480",
"ha": "md5",
"tn": "__jsl_clearance_s",
"vt": "3600",
"wt": "1500"
})
分析可知將_0x60274b[_0x2a9a('0xf9', 'uUBi')]數(shù)組中的值按照某種規(guī)則進(jìn)行拼接就是 __jsl_clearance_s 參數(shù)的值，并且_0x2a9a('0xf9', 'uUBi')對應(yīng)字典中 bts 的值：
接下來先進(jìn)一步跟蹤 _0x14e035，可以發(fā)現(xiàn)其是個(gè)函數(shù)體，第 533 行 return 后的返回值就是 __jsl_clearance_s 參數(shù)的值：
在第 532 行打斷點(diǎn)調(diào)試，能知道 hash 后 _0x2a7ea9 為 __jsl_clearance_s 參數(shù)的值：
hash( _0x2a7ea9 ) 的值為 _0x2a7ea9 經(jīng)過加密后的結(jié)果，在本例中，加密結(jié)果由 0-9 和 a-f 組成的 32 位字符串，很明顯的 MD5 加密特征，找個(gè)在線 MD5 加密進(jìn)行驗(yàn)證，發(fā)現(xiàn)是一致的，這里加密的方法即 hash 方法不全是 MD5，多刷新幾次發(fā)現(xiàn)會變化，實(shí)際上這個(gè) hash 方法與原來調(diào)用 go 函數(shù)傳入的字典中 ha 的值相對應(yīng)，ha 即加密算法的類型，一共有 md5、sha1、sha256 三種，所以我們在本地處理的時(shí)候，要同時(shí)有這三種加密算法，通過 ha 的值來匹配不同算法。
進(jìn)一步觀察這里還有個(gè) for 循環(huán)，分析發(fā)現(xiàn)每次循環(huán) hash(_0x2a7ea9) 的值是動態(tài)變化的，原因是 _0x2a7ea9 的值是在動態(tài)變化的，_0x2a7ea9 中只有中間兩個(gè)字母在變化，不仔細(xì)看都看不出來：
跟進(jìn) _ 0x2a7ea9 生成的位置，分析可知 _0x2a7ea9 參數(shù)的值是由 0x5e5712 數(shù)組的第一個(gè)值加上兩個(gè)字母再加上該數(shù)組第二個(gè)值組成的結(jié)果：
中間兩個(gè)字母是將底下這段寫了兩次生成的，即 _0x60274b['chars']['substr'][1]， 取字典中 chars 參數(shù)的一個(gè)字母，取了兩次，這里通過 for 循環(huán)在不斷取這兩個(gè)值，直到其值加密后與 _0x56cbce（即 ct）的值相等，則作為返回值傳遞給 __jsl_clearance_s 參數(shù)：
_0x60274b[_0x2a9a('0x45', 'XXkw') + 's'][_0x2a9a('0x5a', 'ZN)]') + 'tr'](_0x8164, 0x1)
0x56cbce 為 ct 的值：
最前面0x2228a0[_0x2a9a('0x6d', 'U0Y3') + 's']是個(gè)方法，我們進(jìn)一步跟進(jìn)過去，看這個(gè)方式里面實(shí)現(xiàn)了什么樣的邏輯：
其內(nèi)容如下，可以看到這個(gè)方法返回的值是兩個(gè)相等的參數(shù)：
_0x560b67[_0x2a9a('0x15', 'NwFy') + 's'] = function(_0x4573a2, _0x3855be) {
return _0x4573a2 == _0x3855be;
};
模擬執(zhí)行
綜上所述，_0x14e035 函數(shù)中的邏輯就是判斷 _0x2a7ea9 的值經(jīng)過 hash 方法加密后的值，是否與 ct 的值相等，若相等則將返回值傳遞給 __jsl_clearance_s 參數(shù)，循環(huán)完后還未有成功匹配的值則會執(zhí)行第 509 行提示失敗，傳入?yún)?shù)中 ha 的值是在變化的，即加密算法也是在變化的，有三種加密方式 SHA1、SHA256 和 MD5，我們可以扣下三種 hash 方法，也可以直接使用 crypto-js 庫來實(shí)現(xiàn)：
var CryptoJS = require('crypto-js');
function hash(type, value){
if(type == 'md5'){
return CryptoJS.MD5(value).toString();
}
if(type == 'sha1'){
return CryptoJS.SHA1(value).toString();
}
if(type == 'sha256'){
return CryptoJS.SHA256(value).toString();
}
}
var _0x2228a0 = {
"mLZyz" : function(_0x435347, _0x8098d) {
return _0x435347 < _0x8098d;
},
"SsARo" : function(_0x286fd4, _0x10b2a6) {
return _0x286fd4 + _0x10b2a6;
},
"jfMAx" : function(_0x6b4da, _0x19c099) {
return _0x6b4da + _0x19c099;
},
"HWzBW" : function(_0x3b9d7f, _0x232017) {
return _0x3b9d7f + _0x232017;
},
"DRnYs" : function(_0x4573a2, _0x3855be) {
return _0x4573a2 == _0x3855be;
},
"ZJMqu" : function(_0x3af043, _0x1dbbb7) {
return _0x3af043 - _0x1dbbb7;
},
};
function cookies(_0x60274b){
var _0x34d7a8 = new Date();
function _0x14e035(_0x56cbce, _0x5e5712) {
var _0x2d0a43 = _0x60274b['chars']['length'];
for (var _0x212ce4 = 0x0; _0x212ce4 < _0x2d0a43; _0x212ce4++) {
for (var _0x8164 = 0x0; _0x2228a0["mLZyz"](_0x8164, _0x2d0a43); _0x8164++) {
var _0x2a7ea9 = _0x5e5712[0] + _0x60274b["chars"]["substr"](_0x212ce4, 1) + _0x60274b["chars"]["substr"](_0x8164, 1) + _0x5e5712[1];
if (_0x2228a0["DRnYs"](hash(_0x60274b['ha'], _0x2a7ea9), _0x56cbce)) {
return [_0x2a7ea9, _0x2228a0["ZJMqu"](new Date(), _0x34d7a8)];
}
}
}
}
var _0x732635 = _0x14e035(_0x60274b['ct'], _0x60274b['bts']);
return {'__jsl_clearance_s' : _0x732635[0]};
}
// console.log(cookies({
// "bts": ["1658906704.293|0|YYj", "Jm5cKs%2B1v1GqTYAtpQjthM%3D"],
// "chars": "vUzQIgamgWnnFOJyKwXiGK",
// "ct": "690f55a681f304c95b35941b20538480",
// "ha": "md5",
// "tn": "__jsl_clearance_s",
// "vt": "3600",
// "wt": "1500"
// }))
// __jsl_clearance_s: '1658906704.293|0|YYjzaJm5cKs%2B1v1GqTYAtpQjthM%3D'
完整代碼
bilibili 關(guān)注 K 哥爬蟲，小助理手把手視頻教學(xué)：https://space.bilibili.com/1622879192
GitHub 關(guān)注 K 哥爬蟲，持續(xù)分享爬蟲相關(guān)代碼！歡迎 star ！https://github.com/kgepachong/
以下只演示部分關(guān)鍵代碼，不能直接運(yùn)行！完整代碼倉庫地址：https://github.com/kgepachong/crawler/
# =======================
# --*-- coding: utf-8 --*--
# @Time : 2022/7/27
# @Author : 微信公眾號：K哥爬蟲
# @FileName: jsl.py
# @Software: PyCharm
# =======================
import json
import re
import requests
import execjs
cookies = {}
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36"
}
url = "脫敏處理，完整代碼關(guān)注 https://github.com/kgepachong/crawler/"
def get_first_cookie():
global cookies
resp_first = requests.get(url=url, headers=headers)
# 獲取 cookie 值 __jsluid_s
cookies.update(resp_first.cookies)
# 獲取第一層響應(yīng)內(nèi)容, AAEncode 加密
content_first = re.findall('cookie=(.*?);location', resp_first.text)[0]
jsl_clearance_s = execjs.eval(content_first).split(';')[0]
# 獲取 cookie 值 __jsl_clearance_s
cookies['__jsl_clearance_s'] = jsl_clearance_s.split("=")[1]
def get_second_cookie():
global cookies
# 通過攜帶 jsluid_s 和 jsl_clearance_s 值的 cookie 獲取第二層響應(yīng)內(nèi)容
resp_second = requests.get(url=url, headers=headers, cookies=cookies)
# 獲取 go 字典參數(shù)
go_params = re.findall(';go\((.*?)\)</script>', resp_second.text)[0]
params = json.loads(go_params)
return params
def get_third_cookie():
with open('jsl.js', 'r', encoding='utf-8') as f:
jsl_js = f.read()
params = get_second_cookie()
# 傳入字典
third_cookie = execjs.compile(jsl_js).call('cookies', params)
cookies.update(third_cookie)
def main():
get_first_cookie()
get_third_cookie()
resp_third = requests.get(url=url, headers=headers, cookies=cookies)
resp_third.encoding = 'utf-8'
print(resp_third.text)
if __name__ == '__main__':
main()
