爬蟲（2）--- 構(gòu)建簡單代理IP池

目錄

1. 何為代理IP池？
2. 代理IP池構(gòu)建
　　2.1 瀏覽器偽裝
　　2.2 代理IP爬取
　　2.3 代理IP驗(yàn)證
　　2.4 代理IP多進(jìn)程驗(yàn)證
　　2.5 函數(shù)調(diào)用
3. 后記

1 何為代理IP池？

在寫爬蟲爬取數(shù)據(jù)的時(shí)候總會(huì)遇到各種各樣的反爬技術(shù)，而利用高匿代理IP是防止被墻方法之一，所以在大型爬蟲中不得不考慮代理IP池的構(gòu)建。
　　在上次爬取拉勾網(wǎng)信息的時(shí)候采用了西刺免費(fèi)代理IP的API構(gòu)建代理IP池，今天發(fā)現(xiàn)打不開該地址，故重新編寫代理IP池的構(gòu)建，依舊是依賴西刺的代理IP資源。本次主要整理Python并發(fā)知識(shí)并爬取國內(nèi)高匿代理

2 簡單代理IP池構(gòu)建

  • 瀏覽器偽裝
  • 代理IP爬取
  • 代理IP驗(yàn)證
  • 代理IP多進(jìn)程驗(yàn)證
  • 函數(shù)調(diào)用

2.1 瀏覽器偽裝

import urllib.request  
import urllib.parse 
import time  
from multiprocessing import Pool#多進(jìn)程
import random
from lxml import etree  #解析
def GetUserAgent():
    '''
    功能：隨機(jī)獲取HTTP_User_Agent
    '''
    user_agents=[
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
    "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
    "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
    "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
    "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
    "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
    "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
    "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
    "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
    "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E; LBBROWSER)",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 LBBROWSER",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
    "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; 360SE)",
    "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E)",
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1",
    "Mozilla/5.0 (iPad; U; CPU OS 4_2_1 like Mac OS X; zh-cn) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8C148 Safari/6533.18.5",
    "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:2.0b13pre) Gecko/20110307 Firefox/4.0b13pre",
    "Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:16.0) Gecko/20100101 Firefox/16.0",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11",
    "Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10"
    ]
    user_agent = random.choice(user_agents)
    return user_agent

2.2 代理IP爬取

本次爬取是基于西刺國內(nèi)高匿代理，利用xpath表達(dá)式進(jìn)行解析。

def getProxies():
    '''
    功能：爬取西刺高匿IP構(gòu)造原始代理IP池
    '''
    init_proxies = []
    ##爬取前十頁
    for i in range(1,11):
        print("####")
        print("####爬取第"+str(i)+"頁####")
        print("####")        
        print("IP地址\t\t\t端口\t存活時(shí)間\t\t驗(yàn)證時(shí)間")
        url = "http://www.xicidaili.com/nn/"+str(i)
        user_agent = GetUserAgent()
        headers=("User-Agent",user_agent)
        opener = urllib.request.build_opener() 
        opener.addheaders = [headers] 
        try:
            data = opener.open(url,timeout=5).read()
        except Exception as er:
            print("爬取的時(shí)候發(fā)生錯(cuò)誤，具體如下：")
            print(er)
        selector=etree.HTML(data) 
        ip_addrs = selector.xpath('//tr[@class="odd"]/td[2]/text()')  #IP地址
        port = selector.xpath('//tr[@class="odd"]/td[3]/text()')  #端口
        sur_time = selector.xpath('//tr[@class="odd"]/td[9]/text()')  #存活時(shí)間
        ver_time = selector.xpath('//tr[@class="odd"]/td[10]/text()')  #驗(yàn)證時(shí)間
        for j in range(len(ip_addrs)):
            ip = ip_addrs[j]+":"+port[j] 
            init_proxies.append(ip)
            #輸出爬取數(shù)據(jù) 
            print(ip_addrs[j]+"\t\t"+port[j]+"\t\t"+sur_time[j]+"\t"+ver_time[j])
    return init_proxies

2.3 代理IP驗(yàn)證

利用百度首頁進(jìn)行IP有效性驗(yàn)證，設(shè)置超時(shí)時(shí)間為5秒，睡眠時(shí)間為2秒。

def testProxy(curr_ip):
    '''
    功能：驗(yàn)證IP有效性
    @curr_ip：當(dāng)前被驗(yàn)證的IP
    '''
    tmp_proxies = []
    #socket.setdefaulttimeout(10)  #設(shè)置全局超時(shí)時(shí)間
    tarURL = "http://www.baidu.com/" 
    user_agent = GetUserAgent()
    proxy_support = urllib.request.ProxyHandler({"http":curr_ip})
    opener = urllib.request.build_opener(proxy_support)
    opener.addheaders=[("User-Agent",user_agent)]
    urllib.request.install_opener(opener)
    try:
        res = urllib.request.urlopen(tarURL,timeout=5).read()
        if len(res)!=0:
            tmp_proxies.append(curr_ip)
    except urllib.error.URLError as er2: 
        if hasattr(er2,"code"):
            print("驗(yàn)證代理IP（"+curr_ip+"）時(shí)發(fā)生錯(cuò)誤（錯(cuò)誤代碼）："+str(er2.code))
        if hasattr(er2,"reason"):
            print("驗(yàn)證代理IP（"+curr_ip+"）時(shí)發(fā)生錯(cuò)誤（錯(cuò)誤原因）："+str(er2.reason))
    except Exception as er:
        print("驗(yàn)證代理IP（"+curr_ip+"）時(shí)發(fā)生如下錯(cuò)誤）：")
        print(er)
    time.sleep(2)
    return tmp_proxies

2.4 代理IP多線程驗(yàn)證

def mulTestProxies(init_proxies):
    '''
    功能：多進(jìn)程驗(yàn)證IP有效性
    @init_proxies：原始未驗(yàn)證代理IP池
    '''
    pool = Pool(processes=7)
    fl_proxies = pool.map(testProxy,init_proxies)
    pool.close()
    pool.join()  #等待進(jìn)程池中的worker進(jìn)程執(zhí)行完畢
    return fl_proxies

2.5 函數(shù)調(diào)用

if __name__ == '__main__':
    #---（1）獲取代理IP池
    init_proxies = getProxies()  #獲取原始代理IP
    tmp_proxies = mulTestProxies(init_proxies) #多進(jìn)程測試原始代理IP  
    proxy_addrs = []
    for tmp_proxy in tmp_proxies:
        if len(tmp_proxy)!=0:
            proxy_addrs.append(tmp_proxy)

本次共爬取了500個(gè)高匿IP，只有32個(gè)通過驗(yàn)證，代理IP的質(zhì)量也是較為一般的。

3 后記

在此只是簡單構(gòu)建了代理IP池，完整的代理IP池的構(gòu)建還需多方IP來源、存儲(chǔ)、定時(shí)更新等功能，在后面的學(xué)習(xí)中將進(jìn)一步加強(qiáng)代理IP池的構(gòu)建。

參考與拓展閱讀：
[1]python開源IP代理池--IPProxys
[2]簡單爬蟲代理IP池

個(gè)人Github
個(gè)人博客DebugNLP
歡迎各路同學(xué)互相交流

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 1 前言 作為一名合格的數(shù)據(jù)分析師，其完整的技術(shù)知識(shí)體系必須貫穿數(shù)據(jù)獲取、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)提取、數(shù)據(jù)分析、數(shù)據(jù)挖掘、...
    whenif閱讀 18,313評(píng)論 45贊 523
  • 爬蟲是一個(gè)比較容易上手的技術(shù)，也許花5分鐘看一篇文檔就能爬取單個(gè)網(wǎng)頁上的數(shù)據(jù)。但對(duì)于大規(guī)模爬蟲，完全就是另一回事，...
    真依然很拉風(fēng)閱讀 9,828評(píng)論 5贊 114
  • 使用代理服務(wù)器一直是爬蟲防BAN最有效的手段，但網(wǎng)上的免費(fèi)代理往往質(zhì)量很低，大部分代理完全不能使用，剩下能用的代理...
    ArthurMao閱讀 11,372評(píng)論 7贊 50
  • 近兩個(gè)月，我在醫(yī)院治療頸椎病，由于采用的是保守療法，所以幾乎天天都要往醫(yī)院跑。每天，老公開車把我送到醫(yī)院，然后再去...
    為底遲閱讀 489評(píng)論 3贊 5
  • 9月8日咖啡冥想 1、女兒本來明天報(bào)道，她中午看到有同學(xué)已經(jīng)去學(xué)校報(bào)道了，吆喝要去報(bào)道，下午請假拿上女兒收拾好的行...
    幸福種子成長陜西三原分群群主閱讀 453評(píng)論 0贊 3

友情鏈接更多精彩內(nèi)容