首先使用 git clone 將源代碼拉到你本地

git clone https://github.com/Python3WebSpider/ProxyPool.git

接著打開項目中的 setting.py

在這里可以配置相關(guān)信息

比如 Redis 的地址密碼相關(guān)

（如果你之前沒有使用過 redis 的話，可以到如下地址下載 https://github.com/MicrosoftArchive/redis/releases）

image

接著在你 clone 下來的文件目錄中

安裝相關(guān)所需的 python 模塊

pip3 install -r requirements.txt

redis 安裝

Redis 的安裝

訪問地址：https://github.com/ServiceStack/redis-windows/tree/master/downloads

image

把 Redis 下載下來后找到一個合適的地方解壓，就能得到如下圖所示的目錄（這里空格被替換成了%20...）：

image

為了方便啟動，我們在該目錄下新建一個 startup.cmd 的文件，然后將以下內(nèi)容寫入文件：

redis-server redis.windows.conf

這個命令其實就是在調(diào)用 redis-server.exe 命令來讀取 redis.window.conf 的內(nèi)容，我們雙擊剛才創(chuàng)建好的 startup.cmd 文件，就能成功的看到 Redis 啟動：

image

上圖的提示信息告訴了我們：① Redis 當前的版本為 3.0.503；② Redis 運行在 6379 端口；③ Redis 進程的 PID 為 14748；④ 64 位。

我們可以打開同一個文件夾下的 redis-cli.exe 文件，這是 Redis 自帶的一個客戶端工具，它可以用來連接到我們當前的 Redis 服務(wù)器，我們做以下測試：

image

如此，我們便在 Windows 的環(huán)境下安裝好了 Redis。

接下來開啟你的 redis

image

redis 的默認端口就是 6379

接著就可以運行 run.py 了

代理池開始運行
 * Running on http://0.0.0.0:5555/ (Press CTRL+C to quit)
開始抓取代理
獲取器開始執(zhí)行
Crawling http://www.66ip.cn/1.html
正在抓取 http://www.66ip.cn/1.html
抓取成功 http://www.66ip.cn/1.html 200
成功獲取到代理 201.69.7.108:9000
成功獲取到代理 111.67.97.58:36251
成功獲取到代理 187.32.159.61:51936
成功獲取到代理 60.13.42.154:9999
成功獲取到代理 106.14.5.129:80
成功獲取到代理 222.92.112.66:8080
成功獲取到代理 125.26.99.84:60493
...

如果你在運行的時候出現(xiàn)這個錯誤

注意?。?！

AttributeError: 'int' object has no attribute 'items'

更新一下 redis 版本

pip3 install redis==2.10.6 

運行 run.py

這時候在你的 redis 中就有爬取到的代理 ip 了

image

項目跑起來之后

你就可以訪問你的代理池了

比如隨機獲取一個代理 ip 地址

http://localhost:5555/random

這樣訪問之后就會獲取到一個代理 ip

在代碼中獲取代理也不在話下啦

import requests
?
PROXY_POOL_URL = 'http://localhost:5555/random'
?
def get_proxy():
    try:
        response = requests.get(PROXY_POOL_URL)
        if response.status_code == 200:
            return response.text
    except ConnectionError:
        return None

ok