python爬蟲怎么添加ip池

這篇文章主要講解了“python爬蟲怎么添加ip池”，文中的講解內容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“python爬蟲怎么添加ip池”吧！

1、下載代理ip池文件Proxypool。

使用的是github上比較流行的ProxyPool，下載zip文件

https://github.com/jhao104/proxy_pool/releases

2、安裝一些擴展庫和數據庫Redis。

解壓并安裝代理池需要的依賴文件，cmd命令行進入到該文件夾下(在文件夾地址欄輸入cmd然后回車)，安裝依賴文件(requirements為代理池需要用到的擴展庫列表)。

3、啟動Redis服務后，啟動ProxyPool服務，然后在python中使用ProxyPool代理ip池。

import requests
 
def get_proxy():
    #5000：settings中設置的監聽端口，不是Redis服務的端口
    return requests.get("http://127.0.0.1:5000/get/").json()
 
def delete_proxy(proxy):
    requests.get("http://127.0.0.1:5000/delete/?proxy={}".format(proxy))
 
# 主代碼
def getHtml():
    retry_count = 5
    proxy = get_proxy().get("proxy")
    print(proxy)
    while retry_count > 0:
        try:
            html = requests.get('http://www.baidu.com', proxies={"http": "http://{}".format(proxy)})
            print(html.text)
            break
        except Exception:
            retry_count -= 1
    # 刪除代理池中代理
    delete_proxy(proxy)
    return None
 
getHtml()

感謝各位的閱讀，以上就是“python爬蟲怎么添加ip池”的內容了，經過本文的學習后，相信大家對python爬蟲怎么添加ip池這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是億速云，小編將為大家推送更多相關知識點的文章，歡迎關注！