入門級(jí)反扒-字體反扒基礎(chǔ)

字體反爬是一種常見的反扒手段,利用自定義的字體對(duì)比較重要的信息進(jìn)行加密。例如安居客的租房信息,查看源代碼關(guān)于價(jià)格的部分:


其中價(jià)格的部分被替換成了 HTML 中的字符實(shí)體。然后 HTML 根據(jù)編碼方式以及指定的字體將字符實(shí)體渲染為可以看到的文字。

但是,想要了解字體加密的基本原理,還需要了解字體的表示方法。例如,對(duì)于像 &#x9476 怎么轉(zhuǎn)換成能看到的文字呢?實(shí)際上是因?yàn)樵谧煮w數(shù)據(jù)文件中主要做了這兩種映射:

  1. 將字符編碼 與 字符名稱對(duì)應(yīng)
  2. 字符名稱 與 字形數(shù)據(jù)對(duì)應(yīng)

瀏覽器遇到 &#x9476,先從字體數(shù)據(jù)中找到其對(duì)應(yīng)的字符名稱,根據(jù)字符名稱再找到字形數(shù)據(jù),然后將字形數(shù)據(jù)渲染為屏幕上可見的文字。例如,安居客的字體是直接利用base64編碼嵌入到網(wǎng)頁(yè)中的:

利用 python 中 fontTools 可以將其保存為 xml 文件:

from fontTools.ttLib import TTFont
font = TTFont(BytesIO(base64.decodebytes(font_data.encode())))
f.saveXML("font.xml")

其中 font_data 就是提取出的base64字符串。

打開文件 font.xml, cmap 部分存儲(chǔ)著字符編碼與字符名稱的映射關(guān)系,例如:

其中的 code 就表示字符編碼,而 name 就表示字符名稱。例如剛才的 &#x9476 實(shí)際上就是 0x9476,其對(duì)應(yīng)的字符名稱就為 glyph00007。當(dāng)然,經(jīng)過前人的總結(jié),我們知道

glyph0000x 實(shí)際上對(duì)應(yīng)的為 x -1

即 glyph00007 的字形數(shù)據(jù)渲染出來則為數(shù)字 6 。那么能不能解析html時(shí)直接將 &#x9476 替換為 6 呢? 實(shí)際上是不行的。因?yàn)槊恳淮巫址幋a與字符名稱是動(dòng)態(tài)生成的,即每一次訪問他們的關(guān)系都會(huì)發(fā)生變化。所以必需在每一次爬取時(shí)先解析出網(wǎng)頁(yè)中的字體數(shù)據(jù)(base64編碼),然后解析出字符編碼與字符名稱的對(duì)應(yīng)關(guān)系,根據(jù)字符編碼找到字符名稱,然后將字符名稱替換成真實(shí)的數(shù)據(jù)。其過程為:

尋找字體數(shù)據(jù) -> 獲取映射關(guān)系 -> 根據(jù)映射關(guān)系將 字符編碼 轉(zhuǎn)換為字體名稱 
-> 根據(jù)字體名稱得到真實(shí)數(shù)據(jù)

當(dāng)然,為了獲得映射關(guān)系不需要每次先保存為 xml 再提取,fontTools 已經(jīng)有了現(xiàn)成的方法:

from fontTools.ttLib import TTFont
font = TTFont(BytesIO(base64.decodebytes(font_data.encode())))
c = font.getBestCmap()
print(c)
# {38006: 'glyph00007', 38287: 'glyph00005', 39228: 'glyph00003', 39499: 'glyph00006', 40506: 'glyph00010', 40611: 'glyph00002', 40804: 'glyph00009', 40850: 'glyph00004', 40868: 'glyph00001', 40869: 'glyph00008'}

只不過這里結(jié)果中的 字符編碼 是使用的十進(jìn)制而不是網(wǎng)頁(yè)中的十六進(jìn)制。

以上就是字體反爬的基礎(chǔ)知識(shí)。實(shí)際上,字體反爬還有更復(fù)雜情況。例如剛才提到的映射關(guān)系:

字體編碼 <----> 字符名稱 <----> 字形數(shù)據(jù)

安居客的字體反爬只是動(dòng)態(tài)變化 字體編碼 與 字符名稱 的關(guān)系。因此我們?cè)谡业阶址Q時(shí),直接可以得到其真實(shí)數(shù)據(jù)。但是有的網(wǎng)址,如 貓眼 電影其 字符名稱 和 字形數(shù)據(jù) 之間的變換也是動(dòng)態(tài)的。那么這種情況就不能直接根據(jù)字符名稱來獲得真實(shí)數(shù)據(jù)了,具體的解決辦法在下一篇會(huì)詳細(xì)說明。

最后完整的代碼如下:

from fontTools.ttLib import TTFont
import base64
import re
from io import BytesIO
class FontDecoder:
    """
        html: 網(wǎng)頁(yè)源代碼
        decoder = FontDecoder(html)
        decoder.decode()
    """
    def __init__(self, html):
        self._split_re = re.compile(r"(&#x[A-Za-z0-9]{4};)")
        self._html = html
        secret_key = self.get_secret_key(html)
        # base64 字符轉(zhuǎn)轉(zhuǎn)換為字體數(shù)據(jù)
        self._font = TTFont(BytesIO(base64.decodebytes(secret_key.encode())))
        self._camp_table = self._font.getBestCmap() # 獲取 cmap table

    def get_secret_key(self, page):
        secret_key = re.findall("charset=utf-8;base64,(.*?)'\)", page)
        if not secret_key:
            raise ValueError("解碼字符串未找到")
        return secret_key[0]
    
    def decode_with_camp(self, cmap_table, char_code):
        char_name = cmap_table[char_code]
        num = int(char_name[-2:]) - 1
        return str(num)

    def decode(self, text=None):
        page = text or self._html
        decoded_chars = []
        for sequence in self._split_re.split(page): # 分割 字符實(shí)體 與 普通字符
            if self._split_re.match(sequence): # 如果是一個(gè)字符實(shí)體,則可能要進(jìn)行解密
                char_code = int(sequence[3: -1], 16)  
                # 如果該字符實(shí)體在 cmap_table 中,則需要進(jìn)行解密
                sequence = self.decode_with_camp(self._camp_table, char_code) \
                            if char_code in self._camp_table else sequence
            decoded_chars.append(sequence)
        return "".join(decoded_chars)
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

友情鏈接更多精彩內(nèi)容