python爬蟲中urllib庫代理的設置方法

這篇文章給大家分享的是有關python爬蟲中urllib庫代理的設置方法的內容。小編覺得挺實用的，因此分享給大家做個參考。一起跟隨小編過來看看吧。

關于urllib庫

urllib 庫一般使用 ProxyHandler 設置代理，參數是字典類型，鍵名是協議。

urllib代理設置代碼如下

from urllib.error import URLError
from urllib.request import ProxyHandler
from urllib.request import build_opener
 
# 通過ProxyHandler來設置代理服務器，參數為字典類型，鍵名為協議，鍵值為代理
proxy_handler = ProxyHandler({"http": "http://113.120.33.75:9999",
                              "https":"https://120.83.99.72:9999"})
 
# 創建一個opener對象，比openurl多了一個header
opener = build_opener(proxy_handler)
try:
    # 通過opener對象打開url
    response = opener.open("http://httpbin.org/get")
    print(response.read().decode("utf-8"))
except URLError as e:
print(e.reason)

結果會出現兩種情況

[WinError 10061] 由于目標計算機積極拒絕，無法連接。
解決方法：主要是代理不可用，更換代理就行

[WinError 10060] 由于連接方在一段時間后沒有正確答復或連接的主機沒有反應，連接嘗試失敗。  

解決方法：將瀏覽器的代理設置中的局域網設置，里面的自動配置腳本選項改為自動檢測設置即可。

運行結果如下，可以看到origin已經改成了代理IP

{
  "args": {},
  "headers": {
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3",
    "Accept-Encoding": "gzip, deflate",
    "Accept-Language": "zh-CN,zh;q=0.9",
    "Host": "httpbin.org",
    "Upgrade-Insecure-Requests": "1",
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36"
  },
  "origin": "113.120.33.75, 113.120.33.75",
  "url": "https://httpbin.org/get"
}

感謝各位的閱讀！關于python爬蟲中urllib庫代理的設置方法就分享到這里了，希望以上內容可以對大家有一定的幫助，讓大家可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到吧！