在Python中使用代理IP進行爬蟲需要使用第三方庫,比如requests庫。以下是使用代理IP的正確步驟:
import requests
import random
def get_proxy_list():
proxy_list = [
'http://ip1:port1',
'http://ip2:port2',
'http://ip3:port3',
# ...
]
return proxy_list
def get_random_proxy(proxy_list):
proxy = random.choice(proxy_list)
return {'http': proxy}
proxy_list = get_proxy_list()
proxy = get_random_proxy(proxy_list)
url = 'http://example.com'
response = requests.get(url, proxies=proxy)
這樣,requests庫就會使用選中的代理IP來發送請求。請注意,有些代理IP可能不適用于所有網站,所以你可能需要根據實際情況選擇不同的代理IP來發送請求。
另外,如果你在使用代理IP時遇到了問題,比如請求超時或被網站拒絕訪問,你可以嘗試更換代理IP或使用其他方式來解決這些問題。