怎么在python3中使用 Scrapy框架設置ip代理

今天就跟大家聊聊有關怎么在python3中使用 Scrapy框架設置ip代理，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結了以下內容，希望大家根據這篇文章可以有所收獲。

什么是Scrapy？

　　Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架，非常出名，非常強悍。所謂的框架就是一個已經被集成了各種功能（高性能異步下載，隊列，分布式，解析，持久化等）的具有很強通用性的項目模板。對于框架的學習，重點是要學習其框架的特性、各個功能的用法即可。

一、背景

     在做爬蟲項目的過程中遇到ip代理的問題，網上搜了一些，要么是用阿里云的ip代理，要么是搜一些網上現有的ip資源，然后配置在setting文件中。這兩個方法都存在一些問題。

1、阿里云ip代理方法，網上大都是配置阿里云的ip代理的用戶名、密碼然后加密、解密。我按照上面的方面操作，發現阿里云上面的ip代理的參數里面沒有用戶名、密碼相關的參數配置了。

2、至于網上查到的另外一種方法是在setting文件里面添加代理IP資源池，然后再在middlewares.py文件里面添加上一些代碼來實現，但代理ip不一定是可用的。

二、改進方法

1、基于背景中提到的網上兩種方法的局限性，我在此綜合了兩種方法。

2、改進方法：

1）利用阿里云的ip代理API生成50個代理IP資源池（用自己的阿里云賬號登陸生成的，ip有效性得到保障）

2）直接在middlewares.py中添加如下函數，PROXIES為在阿里云上面生成的ip，此處涉及到個人隱私，故用****代替。

class my_proxy(object):
  def process_request(self, request, spider):
    PROXIES = ['http://****.****.****.****:8080']
    ip = random.choice(PROXIES)
    request.meta['Proxy-Authorization'] = ip

python的數據類型有哪些?

python的數據類型：1. 數字類型，包括int（整型）、long（長整型）和float（浮點型）。2.字符串，分別是str類型和unicode類型。3.布爾型，Python布爾類型也是用于邏輯運算，有兩個值：True（真）和False（假）。4.列表，列表是Python中使用最頻繁的數據類型，集合中可以放任何數據類型。5. 元組，元組用”()”標識，內部元素用逗號隔開。6. 字典，字典是一種鍵值對的集合。7. 集合，集合是一個無序的、不重復的數據組合。

看完上述內容，你們對怎么在python3中使用 Scrapy框架設置ip代理有進一步的了解嗎？如果還想了解更多知識或者相關內容，請關注億速云行業資訊頻道，感謝大家的支持。