您好,登錄后才能下訂單哦!
在進行數據抓取時,經常會遇到IP被限制的情況,常見的解決方案是搭建代理IP池,或購買IP代理的服務。除此之外,還有一個另外的方法就是使用家里的寬帶網絡進行抓取。由于家里的寬帶每次斷開重新連接時都會分配一個新的IP,所以在我們抓取數據的時候,判斷當IP被禁掉時,立即在路由器中進行斷開重新連接操作。考慮到人工操作比較繁瑣,另外也不可能一直盯著執行的程序,就考慮使用Python自動多路由器進行設置。
以下代碼為針對家里的TP-Link進行的設置,其他路由器的設置原理也應該一樣。
import base64, requests, time, re base_url = 'http://192.168.1.1' user = 'admin' pwd = 'password' headers = { 'Accept': '*/*', 'User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET4.0C; .NET4.0E)', 'Referer': base_url + '/userRpm/StatusRpm.htm', 'Cookie': 'Authorization=Basic ' + base64.b64encode((user + ':' + pwd).encode(encoding='utf-8')).decode( encoding='utf-8') } def get_ip(): url = "http://2018.ip138.com/ic.asp" r = requests.get(url) txt = r.text ip = txt[txt.find("[") + 1: txt.find("]")] return ip def get_ip_status(): url = base_url + "/userRpm/StatusRpm.htm" r = requests.get(url=url, headers=headers) pattern = re.compile('(\d+\.\d+\.\d+\.\d+)') ip = re.findall(pattern,r.text) return ip[3] def change_ip(): url = base_url + '/userRpm/StatusRpm.htm?Disconnect=%B6%CF%20%CF%DF&wan=1' requests.get(url=url, headers=headers) while True: time.sleep(5) new_ip = get_ip_status() if new_ip != '0.0.0.0': break if __name__ == "__main__": change_ip()
以上代碼已經經過測試,能夠正常使用。希望對大家的學習有所幫助,也希望大家多多支持億速云。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。