服務器解決反爬和IP被封的方法:1、減慢網站爬取速率,能減小目標網站的壓力;2、用動態撥號vps服務器設置變換IP,能解決反爬和IP被封的問題,但會降低獲取速度。
具體內容如下:
1、減慢爬取速率
那樣目標網站的壓力就會相對性減小,可是這么做的話,單位時間之內的爬取量就會相對的減少。
2、用動態撥號vps服務器設置變換IP
攻克反爬蟲體制進行高頻率抓取,這樣就需要多個穩定的IP。普通的基于ADSL撥號的解決方案。通常,在抓取過程中遇到禁止訪問,可以重新進行撥號,獲取新的IP,從而可以繼續抓取。但是這樣在多網站多線程抓取的時候,如果某一個網站的抓取被禁止了,同時也危害到了其他網站的抓取,總體來說也會降低獲取速度。