本文包含代碼所需的python外置庫：

• requests
• BeautifulSoup4

本文尤其適合對(duì)python爬蟲有一定了解的人群，但是如果你是小白，也能從文章中獲取一些互聯(lián)網(wǎng)的知識(shí)

背景

隨著大數(shù)據(jù)時(shí)代來臨，數(shù)據(jù)對(duì)于我們每個(gè)人來說都越來越重要，而互聯(lián)網(wǎng)又是最重要、最廣泛的數(shù)據(jù)獲取來源。

在這個(gè)時(shí)代下，我們每個(gè)人都應(yīng)該掌握一定的從互聯(lián)網(wǎng)獲取信息的能力。而python爬蟲，就是我們從互聯(lián)網(wǎng)獲取信息的利器！

當(dāng)我們運(yùn)用python爬蟲從互聯(lián)網(wǎng)上獲取信息時(shí)，經(jīng)常的會(huì)遇到被封IP的尷尬情況。

這是由于我們的爬蟲占據(jù)了網(wǎng)站太多的服務(wù)器資源而又對(duì)它幾乎沒有任何益處，所以人家當(dāng)然不允許你這么做。
所以我們需要使用代理來避免這種情況。

正文

網(wǎng)上有一些專門提供代理IP的網(wǎng)站，這里展現(xiàn)了兩個(gè)，如果需要更多可以自行搜索查找。

1.西刺免費(fèi)代理
免費(fèi)IP非常多，這個(gè)網(wǎng)站也在很早就有了，但是有一個(gè)缺點(diǎn)，我爬取這個(gè)網(wǎng)站上的代理的時(shí)候爬不了幾頁就被封了！即使我每爬一頁都設(shè)置了3秒鐘的間隔。難道我還要用代理來爬取代理？于是我又找其他的代理網(wǎng)站。

2.西拉ip代理官網(wǎng)
本篇文章是使用這個(gè)網(wǎng)站爬取的IP，網(wǎng)站界面很好看，IP也很多，并且還提供了API每天五百個(gè)免費(fèi)的量，重要的是封IP沒那么嚴(yán)，爬取的時(shí)候可以放心爬（但是最好不要對(duì)它的服務(wù)器造成太大負(fù)荷，我是每一頁間隔兩秒鐘）

先講思路，代碼放在下面：
1.請(qǐng)求網(wǎng)頁的內(nèi)容
2.使用BeautufulSoup4分析網(wǎng)頁內(nèi)容，提煉出需要的內(nèi)容
3.程序可自主選擇爬取http還是https的代理，高匿名還是透明代理(推薦高匿名)，爬取多少頁
4.多線程對(duì)爬取下來的ip進(jìn)行可用性檢測(cè)（畢竟是免費(fèi)的代理，很多都不能用的，需要自己進(jìn)行檢測(cè))
5.寫入文件（這部分可以改動(dòng)）</br>

思路代碼分析

• 請(qǐng)求網(wǎng)頁內(nèi)容使用requests庫的get方法就可以，并且在在get函數(shù)中傳入proxies參數(shù)，參數(shù)是一個(gè)字典，類似下面這樣

通過 requests.get(url=url, headers=header,proxies={"http":"http://xx.xx.xx.xx"}, timeout=5) 使用http協(xié)議的ip代理
或者
通過requests.get(url=url, headers=header,proxies={"https":"https://xx.xx.xx.xx"}, timeout=5)使用https協(xié)議的ip代理

• 西拉代理官網(wǎng)的元素很好分析，使用bs4幾行就分析好了

西拉元素分析

我們需要的是上面截圖中三個(gè)箭頭的元素，因?yàn)楸境绦蛱峁﹉ttp和https的選擇功能，還有匿名度的選擇功能。
如果有需要其它選擇選項(xiàng)比如代理位置或者響應(yīng)速度什么的，可以自行修改，或者可以聯(lián)系我。

• 幾個(gè)選項(xiàng)使用if判斷語句判斷一下分析出來的元素就可實(shí)現(xiàn)

• ip可用性檢測(cè)的方法是使用這個(gè)代理訪問網(wǎng)站，若是訪問成功則說明https代理有效，而http代理步驟稍多一步。http代理檢測(cè)，是訪問一個(gè)ip網(wǎng)站，這個(gè)網(wǎng)站會(huì)分析訪問過來的ip并顯示在頁面上，我們獲取這個(gè)元素然后和我們的代理進(jìn)行比對(duì)來判斷是否有效。多線程是由于若是ip不可用則至少花費(fèi)5秒鐘時(shí)間等待，這樣顯得效率十分低下，所以開多線程（鑒于GIL鎖的存在，此處的多線程與python的協(xié)程差不多，有不懂的可以私信我）

• 寫入文件這一部分很簡(jiǎn)單，但是可以作改動(dòng)，因?yàn)閺木W(wǎng)上爬取下來的ip可能隨時(shí)會(huì)失效，所以使用文件保存是不好的，最好是隨時(shí)爬取，有效就直接用。可以考慮改造一下函數(shù)變成一個(gè)列表生成器，每次yield一個(gè)列表出去，列表里面放置了有效的ip。

代碼

import requests
from bs4 import BeautifulSoup
import time
import threading

IP_MODE = 1  # 1. http   2.https
NI_MING_MODE = 1  # 1.高匿   2.透明
PAGE = 50  # 默認(rèn)爬取50頁

url = ""
if IP_MODE == 1:
    url = "http://www.xiladaili.com/http/{}/"
elif IP_MODE == 2:
    url = "http://www.xiladaili.com/https/{}/"
else:
    # 輸入其它數(shù)字默認(rèn)為http
    url = "http://www.xiladaili.com/http/{}/"


header = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36"}


def test_http(host):
    """
    檢測(cè)http代理IP是否有效并將有效IP寫入文件
    """
    ip = {}
    ip["http"] = "http://" + host
    # 通過訪問下面這個(gè)ip檢測(cè)網(wǎng)站來判斷
    url = "http://ip.tool.chinaz.com/"


    # http無效的情況大致有兩種 1.無法訪問這個(gè)網(wǎng)頁，那么這個(gè)代理不可用 2.能訪問網(wǎng)頁但是沒有達(dá)到代理效果，即仍然使用的自己的ip訪問網(wǎng)頁

    try:
        html = requests.get(url=url, headers=header,
                            proxies=ip, timeout=5).text
    except:
        return
    else:
        soup = BeautifulSoup(html, "lxml")

        try:
            real_ip = soup.select_one(".fz24").text
        except:
            return
        if real_ip == host.split(":")[0]:
            print("有效IP：" + host)
            with open("xila_http_list.txt", "a") as af:
                af.write(host + " ")
        else:
            return


def test_https(host):
    """
    檢測(cè)https代理是否有效，并將有效IP寫入文件
    """
    ip = {}
    ip["https"] = "https://" + host

    url = "https://blog.csdn.net/luoyangIT"

    # https檢測(cè)只能通過檢查是否能訪問https協(xié)議的網(wǎng)頁來判斷，若有其它方法則繼續(xù)增加

    try:
        html = requests.get(url=url, headers=header,
                            proxies=ip, timeout=5).text
    except:
        return
    else:
        print("有效IP：" + host)
        with open("xila_https_list.txt", "a") as af:
            af.write(host + " ")


def main():
    """
    主函數(shù)，入口
    """
    for i in range(1, PAGE):
        # 延時(shí)，避免對(duì)服務(wù)器造成太大負(fù)荷，同時(shí)在延時(shí)時(shí)間內(nèi)檢測(cè)代理可用情況
        time.sleep(3)
        # 請(qǐng)求頁面text
        html = requests.get(url=url.format(i), headers=header).text
        soup = BeautifulSoup(html, "lxml")
        # 分析元素
        tr_list = soup.select_one(".fl-table").select_one("tbody").select("tr")
        # 獲取元素
        for td_list in tr_list:
            # 高匿
            if NI_MING_MODE == 1 and "高匿" in td_list.select("td")[2].text:

                # http
                if IP_MODE == 1:
                    t = threading.Thread(target=test_http, args=(
                        td_list.select("td")[0].text,))
                    t.start()

                # https
                elif IP_MODE == 2 and test_https(td_list.select("td")[0].text):
                    t = threading.Thread(target=test_https, args=(
                        td_list.select("td")[0].text,))
                    t.start()

            # 透明
            elif NI_MING_MODE == 2 and "透明" in td_list.select("td")[2].text:

                # http
                if IP_MODE == 1:
                    t = threading.Thread(target=test_http, args=(
                        td_list.select("td")[0].text,))
                    t.start()

                # https
                elif IP_MODE == 2:

                    t = threading.Thread(target=test_https, args=(
                        td_list.select("td")[0].text,))
                    t.start()


if __name__ == "__main__":
    main()

代碼中我已附上大量注釋，希望大家都能看懂，不懂得可以私信我交流。

我是落陽，謝謝你的到訪！希望大家都平平安安健健康康！