從零實現(xiàn)一個高性能網(wǎng)絡(luò)爬蟲（二）應(yīng)對反爬蟲之前端數(shù)據(jù)混淆

摘要

  • 上一篇以知乎網(wǎng)為例簡單分享網(wǎng)絡(luò)請求分析。這一篇主要分享一種應(yīng)對反爬蟲的方法，前端數(shù)據(jù)混淆。

目的

開始

  • 打開這個網(wǎng)站首頁，然后控制臺查看ip和port的對應(yīng)標(biāo)簽。


  • 如上圖（圖一），從控制臺的標(biāo)簽中可以看出ip加了一些無關(guān)不顯示的標(biāo)簽來混淆數(shù)據(jù)，這里混淆的原理其實很簡單，通過標(biāo)簽的style="display:none"屬性來達(dá)到混淆的目的，也就是包含這個屬性的標(biāo)簽是不會顯示在頁面上的。知道了這一點就比較好處理了，只需要在解析的時候把包含style="display:none"屬性的標(biāo)簽去掉。就可以輕松的拿到ip和port數(shù)據(jù)了。
  • 代碼如下
package com.cnblogs.wycm;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;
import java.net.URL;

/**
 *
 * 數(shù)據(jù)的解析采用的是Jsoup框架，Jsoup是一個操作HTML標(biāo)簽的Java庫，它提供了非常方便的API來提取和操縱庫，支持類似jquery的選擇器來查找標(biāo)簽。
 * 由于請求比較單一，這里的網(wǎng)絡(luò)請求并沒有采用上一篇所使用HttpClient框架。直接通過Jsoup來執(zhí)行http請求的。
 * 關(guān)于Jsoup的使用可以參考http://www.open-open.com/jsoup/
 *
 */
public class Chapter1 {
    public static void main(String[] args) throws IOException {
        Document document= Jsoup.parse(new URL("http://www.goubanjia.com/"), 10000);
        //獲取class='table'的table的所有子節(jié)點tr
        Elements elements = document.select("table[class=table] tr");
        for (int i = 1; i < elements.size(); i++){
            //獲取td節(jié)點
            Element td = elements.get(i).select("td").first();
            /**
             * 查找所有style屬性包含none字符串的標(biāo)簽（頁面上未顯示的標(biāo)簽），并移除
             * 包括以下兩種
             * style=display: none;
             * style=display:none;
             */
            for(Element none : td.select("[style*=none;]")){
                none.remove();
            }
            //移除空格
            String ipPort = td.text().replaceAll(" ", "");
            //打印
            System.out.println(ipPort);
        }
    }
}
/*
第一次運行打印結(jié)果:
183.129.246.228:8132
222.92.136.206:8987
54.238.186.100:8988
...
第二次運行打印結(jié)果：
183.129.246.228:8377
222.92.136.206:9059
54.238.186.100:8622
...
*/
  • ip地址能夠準(zhǔn)確的拿到了，卻發(fā)現(xiàn)port被做了混淆，而且每次返回的port還在動態(tài)改變。大家可以通過把瀏覽器的JavaScrip腳本關(guān)閉后，然后刷新這個網(wǎng)頁。會發(fā)現(xiàn)每次的port都不一樣。我們每次看到的正確port都是通過JavaScript腳本處理后的。如果采用普通爬蟲的方式拿到的port都是錯誤的?，F(xiàn)在要想拿到正確的port，可以通過分析它JavaScrip腳本還原數(shù)據(jù)的邏輯。

  • 同樣打開控制臺->選擇Sources->選擇一行js代碼打斷點（點擊行編號），如下圖


  • 刷新網(wǎng)頁—>頁面Paused in debugger—>選擇Elements->右鍵td節(jié)點->Break on...->subtree modifications。這兩個步驟就是在設(shè)置斷點調(diào)試，也就是在td節(jié)點發(fā)生改變的時候paused。


  • 選擇Sources->F8(繼續(xù)執(zhí)行)，這個時候又會有一次pause，也就是js腳本在還原正確port的時候（如下圖）


  • 函數(shù)的調(diào)用棧有好多層，如何快速定位哪一個函數(shù)的技巧就是，看它局部變量表的變量變化，因為這里是port在發(fā)生改變，然后找到對應(yīng)變量和對應(yīng)邏輯函數(shù)。簡單分析可以確定到port發(fā)生改變的函數(shù)是一個匿名函數(shù)，如下圖


  • 格式化后，代碼如下：
var _$ = ['\x2e\x70\x6f\x72\x74', "\x65\x61\x63\x68", "\x68\x74\x6d\x6c", "\x69\x6e\x64\x65\x78\x4f\x66", '\x2a', "\x61\x74\x74\x72", '\x63\x6c\x61\x73\x73', "\x73\x70\x6c\x69\x74", "\x20", "", "\x6c\x65\x6e\x67\x74\x68", "\x70\x75\x73\x68", '\x41\x42\x43\x44\x45\x46\x47\x48\x49\x5a', "\x70\x61\x72\x73\x65\x49\x6e\x74", "\x6a\x6f\x69\x6e", ''];
$(function() {
    $(_$[0])[_$[1]](function() {
        var a = $(this)[_$[2]]();
        if (a[_$[3]](_$[4]) != -0x1) {
            return
        }
        ;var b = $(this)[_$[5]](_$[6]);
        try {
            b = (b[_$[7]](_$[8]))[0x1];
            var c = b[_$[7]](_$[9]);
            var d = c[_$[10]];
            var f = [];
            for (var g = 0x0; g < d; g++) {
                f[_$[11]](_$[12][_$[3]](c[g]))
            }
            ;$(this)[_$[2]](window[_$[13]](f[_$[14]](_$[15])) >> 0x3)
        } catch (e) {}
    })
})
  • 還原后如下：
var _$ = ['.port', "each", "html", "indexOf", '*', "attr", 'class', "split", " ", "", "length", "push", 'ABCDEFGHIZ', "parseInt", "join", ''];
$(function() {
    $('.port').each(function() {
        var a = $(this).html();
        if (a.indexOf('*') != -0x1) {
            return
        }
        ;var b = $(this).attr('class');
        try {
            b = (b.split(" "))[0x1];
            var c = b.split("");
            var d = c.length;
            var f = [];
            for (var g = 0x0; g < d; g++) {
                f.push('ABCDEFGHIZ'.indexOf(c[g]))
            }
            ;$(this).html(window.parseInt(f.join('')) >> 0x3)
        } catch (e) {}
    })
})
  • 這段代碼的邏輯，獲取port標(biāo)簽的class屬性值，取出屬性中后面的幾個大寫字母，遍歷該字符串，找出每次字符在'ABCDEFGHIZ'這個字符串中的索引，然后parseInt轉(zhuǎn)換為整數(shù)，然后進(jìn)行右移3位的操作。
  • 完整代碼實現(xiàn)
package com.cnblogs.wycm;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;
import java.net.URL;

public class Chapter2 {
    public static void main(String[] args) throws IOException {
        Document document= Jsoup.parse(new URL("http://www.goubanjia.com/"), 10000);
        setPort(document);
        //獲取class='table'的table的所有子節(jié)點tr
        Elements elements = document.select("table[class=table] tr");
        for (int i = 1; i < elements.size(); i++){
            //獲取td節(jié)點
            Element td = elements.get(i).select("td").first();
            /**
             * 查找所有style屬性包含none字符串的標(biāo)簽（頁面上未顯示的標(biāo)簽），并移除
             * 包括以下兩種
             * style=display: none;
             * style=display:none;
             */
            for(Element none : td.select("[style*=none;]")){
                none.remove();
            }
            //移除空格
            String ipPort = td.text().replaceAll(" ", "");
            //打印
            System.out.println(ipPort);
        }
    }

    /**
     * js代碼port還原
     * @param doc
     */
    private static void setPort(Document doc){
        for (Element e : doc.select(".port")){//$('.port').each(function() {
            String a = e.text();//var a = $(this).html();
            if(a.indexOf("*") != -0x1){//if (a.indexOf('*') != -0x1) {
                return;
            }
            String b = e.attr("class");//var b = $(this).attr('class');
            b = b.split(" ")[0x1];//b = (b.split(" "))[0x1];
            String[] c = b.split("");//var c = b.split("");
            int d = b.length();//var d = c.length;
            StringBuilder f = new StringBuilder();//var f = [];
            for(int g = 0x0; g < d; g++){//for (var g = 0x0; g < d; g++) {
                f.append("ABCDEFGHIZ".indexOf(c[g]));//f.push('ABCDEFGHIZ'.indexOf(c[g]))
            }
            e.text(String.valueOf(Integer.valueOf(f.toString()) >> 0x3));//$(this).html(window.parseInt(f.join('')) >> 0x3)
        }
    }
}
  • maven依賴
 <dependency>
        <groupId>org.jsoup</groupId>
        <artifactId>jsoup</artifactId>
        <version>1.10.2</version>
 </dependency>

總結(jié)

  • 該篇文章簡單分項了下如何應(yīng)對前端混淆的反爬蟲。關(guān)于這種反爬蟲，還有其它的一些應(yīng)對方式。如采用無頭瀏覽器的方式，比如phantomjs框架。這種無頭瀏覽器原本是用來做自動化測試的。它是基于webkit內(nèi)核的，所以它可以較容易的爬取這種前端混淆的這種網(wǎng)站。一般來說瀏覽器能夠正常訪問到的數(shù)據(jù)，這種方式也可以比較容易爬取這些數(shù)據(jù)。當(dāng)然這種方式的最大問題就是效率比較低。因為這種方式它每加載一個頁面，都需要下載它的附加資源，如js腳本，腳本下載完成后，還要去執(zhí)行js腳本。
  • 我這里采用的方式是閱讀js代碼，得出前端混淆的邏輯，然后再通過目標(biāo)語言來實現(xiàn)對應(yīng)邏輯。這種方式如果針對一些簡單的加密混淆還是很有用的。但是當(dāng)遇到一些大型復(fù)雜的網(wǎng)站，如百度、微博等，需要抓取登錄后的數(shù)據(jù)。這時候需要來手動模擬登錄，相對來說，這種網(wǎng)站的模擬登錄會更復(fù)雜，找各種登錄參數(shù)來源。都會耗費大量精力。分析請求的成本會比較高。這種方式的優(yōu)點就是爬取速度快，只獲取目標(biāo)數(shù)據(jù)。不需要額外網(wǎng)絡(luò)請求成本。

版權(quán)聲明
作者：wycm
出處：http://www.itdecent.cn/p/6dc42d309e5a
您的支持是對博主最大的鼓勵，感謝您的認(rèn)真閱讀。
本文版權(quán)歸作者所有，歡迎轉(zhuǎn)載，但未經(jīng)作者同意必須保留此段聲明，且在文章頁面明顯位置給出原文連接，否則保留追究法律責(zé)任的權(quán)利。

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容