Python中Pycurl屬性與方法的示例分析

小編給大家分享一下Python中Pycurl屬性與方法的示例分析，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

Pycurl包是一個libcurl的Python接口，由C語言編寫的，功能強大，速度快。由于pycurl的屬性和方法太多了，寫這篇博文記錄一下pycurl的屬性和方法。

正常安裝

pip install pycurl

如果出現問題，可以按照系統版本搜索安裝方法，比如centos7.1 安裝pycurl

通用請求方法

import pycurl,urllib
from io import BytesIO
 
url = 'http://www.baidu.com'
 
headers = [
	"User-Agent:Mozilla/5.0 (iPhone; CPU iPhone OS 5_0 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9A334 Safari/7534.48.3",
]
 
data = {
	"cityListName":"",
	"trade": ""
	}
 
c = pycurl.Curl()	#通過curl方法構造一個對象
#c.setopt(pycurl.REFERER, 'http://www.baidu.com/')	#設置referer
c.setopt(pycurl.FOLLOWLOCATION, True)	#自動進行跳轉抓取
c.setopt(pycurl.MAXREDIRS,5)			#設置最多跳轉多少次
c.setopt(pycurl.CONNECTTIMEOUT, 60)		#設置鏈接超時
c.setopt(pycurl.TIMEOUT,120)			#下載超時
c.setopt(pycurl.ENCODING, 'gzip,deflate')	#處理gzip內容
# c.setopt(c.PROXY,ip)	# 代理
c.fp = BytesIO()	
c.setopt(pycurl.URL, url)	#設置要訪問的URL
c.setopt(pycurl.HTTPHEADER,headers)		#傳入請求頭
c.setopt(pycurl.POST, 1)
c.setopt(pycurl.POSTFIELDS, urllib.urlencode(data))		#傳入POST數據
c.setopt(c.WRITEFUNCTION, c.fp.write)	#回調寫入字符串緩存
c.perform()		
 
code = c.getinfo(c.HTTP_CODE)	#返回狀態碼
html = c.fp.getvalue()	#返回源代碼
 
print c.getinfo(c.TOTAL_TIME)

GET請求方法

c = pycurl.Curl()   #通過curl方法構造一個對象
c.setopt(pycurl.FOLLOWLOCATION, True)   #自動進行跳轉抓取
c.setopt(pycurl.MAXREDIRS,5)            #設置最多跳轉多少次
c.setopt(pycurl.CONNECTTIMEOUT, 60)     #設置鏈接超時
c.setopt(pycurl.TIMEOUT,120)            #下載超時
c.setopt(pycurl.ENCODING, 'gzip,deflate')   #處理gzip內容
# c.setopt(c.PROXY,ip)  # 代理
c.fp = BytesIO()  
c.setopt(pycurl.URL, url)   #設置要訪問的URL
c.setopt(pycurl.USERAGENT,ua) #傳入ua
# c.setopt(pycurl.HTTPHEADER,self.headers)     #傳入請求頭
c.setopt(c.WRITEFUNCTION, c.fp.write)   #回調寫入字符串緩存
c.perform()     
code = c.getinfo(c.HTTP_CODE)   #返回狀態碼
html = c.fp.getvalue()  #返回源代碼

POST請求方法

c = pycurl.Curl()   #通過curl方法構造一個對象
c.setopt(pycurl.FOLLOWLOCATION, True)   #自動進行跳轉抓取
c.setopt(pycurl.MAXREDIRS,5)            #設置最多跳轉多少次
c.setopt(pycurl.CONNECTTIMEOUT, 60)     #設置鏈接超時
c.setopt(pycurl.TIMEOUT,120)            #下載超時
c.setopt(pycurl.ENCODING, 'gzip,deflate')   #處理gzip內容
# c.setopt(c.PROXY,ip)  # 代理
c.fp = BytesIO()  
c.setopt(pycurl.URL, url)   #設置要訪問的URL
c.setopt(pycurl.USERAGENT,ua ) #傳入User-Agent
# c.setopt(pycurl.HTTPHEADER,headers)     #傳入請求頭
c.setopt(pycurl.POST, 1)
c.setopt(pycurl.POSTFIELDS, urllib.parse.urlencode(data))
c.setopt(c.WRITEFUNCTION, c.fp.write)   #回調寫入字符串緩存
c.perform()     
code = c.getinfo(c.HTTP_CODE)   #返回狀態碼
html = c.fp.getvalue()  #返回源代碼

windows訪問https

windows 訪問https的方法，需要證書

import certifi
c.setopt(pycurl.CAINFO, certifi.where())

獲取網頁多重跳轉之后的地址

c.getinfo(pycurl.EFFECTIVE_URL) 獲取網頁的最終地址

記錄Cookie

c.setopt(pycurl.COOKIEFILE, "cookie_file_etherscan") #讀取cookie
c.setopt(pycurl.COOKIEJAR, "cookie_file_etherscan") #設置cookie

其他屬性

pycurl的部分API:

pycurl.Curl() #創建一個pycurl對象的方法
pycurl.Curl(pycurl.URL, http://www.google.com.hk) #設置要訪問的URL
pycurl.Curl().setopt(pycurl.MAXREDIRS, 5) #設置最大重定向次數
pycurl.Curl().setopt(pycurl.CONNECTTIMEOUT, 60)
pycurl.Curl().setopt(pycurl.TIMEOUT, 300) #連接超時設置
pycurl.Curl().setopt(pycurl.USERAGENT, "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)") #模擬瀏覽器
pycurl.Curl().perform() #服務器端返回的信息
pycurl.Curl().getinfo(pycurl.HTTP_CODE) #查看HTTP的狀態 類似urllib中status屬性
 
 
pycurl.NAMELOOKUP_TIME 域名解析時間
pycurl.CONNECT_TIME 遠程服務器連接時間
pycurl.PRETRANSFER_TIME 連接上后到開始傳輸時的時間
pycurl.STARTTRANSFER_TIME 接收到第一個字節的時間
pycurl.TOTAL_TIME 上一請求總的時間
pycurl.REDIRECT_TIME 如果存在轉向的話，花費的時間
pycurl.HTTP_CODE HTTP 響應代碼
pycurl.REDIRECT_COUNT 重定向的次數
pycurl.SIZE_UPLOAD 上傳的數據大小
pycurl.SIZE_DOWNLOAD 下載的數據大小
pycurl.SPEED_UPLOAD 上傳速度
pycurl.HEADER_SIZE 頭部大小
pycurl.REQUEST_SIZE 請求大小
pycurl.CONTENT_LENGTH_DOWNLOAD 下載內容長度
pycurl.CONTENT_LENGTH_UPLOAD 上傳內容長度
pycurl.CONTENT_TYPE 內容的類型
pycurl.RESPONSE_CODE 響應代碼
pycurl.SPEED_DOWNLOAD 下載速度
pycurl.INFO_FILETIME 文件的時間信息
pycurl.HTTP_CONNECTCODE HTTP 連接代碼

以上是“Python中Pycurl屬性與方法的示例分析”這篇文章的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！