python爬蟲Cookie的使用方法

小編給大家分享一下python爬蟲Cookie的使用方法，相信大部分人都還不怎么了解，因此分享這篇文章給大家參考一下，希望大家閱讀完這篇文章后大有收獲，下面讓我們一起去了解一下吧！

一、獲取 Cookie 保存到變量

首先，我們先利用 CookieJar 對象實現獲取 cookie 的功能，存儲到變量中，先來感受一下

import urllib2
import cookielib
#聲明一個CookieJar對象實例來保存cookie
cookie = cookielib.CookieJar()
#利用urllib2庫的HTTPCookieProcessor對象來創建cookie處理器
handler=urllib2.HTTPCookieProcessor(cookie)
#通過handler來構建opener
opener = urllib2.build_opener(handler)
#此處的open方法同urllib2的urlopen方法，也可以傳入request
response = opener.open('http://www.baidu.com')
for item in cookie:
    print 'Name = '+item.name
print 'Value = '+item.value

我們使用以上方法將cookie保存到變量中，然后打印出了cookie 中的值，運行結果如下

Name = BAIDUID
Value = B07B663B645729F11F659C02AAE65B4C:FG=1
Name = BAIDUPSID
Value = B07B663B645729F11F659C02AAE65B4C
Name = H_PS_PSSID
Value = 12527_11076_1438_10633
Name = BDSVRTM
Value = 0
Name = BD_HOME
Value = 0

二、保存 Cookie 到文件

在上面的方法中，我們將 cookie 保存到了 cookie 這個變量中，如果我們想將 cookie 保存到文件中該怎么做呢？這時，我們就要用到 FileCookieJar 這個對象了，在這里我們使用它的子類 MozillaCookieJar 來實現 Cookie 的保存

import cookielib
import urllib2
 
#設置保存cookie的文件，同級目錄下的cookie.txt
filename = 'cookie.txt'
#聲明一個MozillaCookieJar對象實例來保存cookie，之后寫入文件
cookie = cookielib.MozillaCookieJar(filename)
#利用urllib2庫的HTTPCookieProcessor對象來創建cookie處理器
handler = urllib2.HTTPCookieProcessor(cookie)
#通過handler來構建opener
opener = urllib2.build_opener(handler)
#創建一個請求，原理同urllib2的urlopen
response = opener.open("http://www.baidu.com")
#保存cookie到文件
cookie.save(ignore_discard=True, ignore_expires=True)

三、從文件中獲取 Cookie 并訪問

那么我們已經做到把 Cookie 保存到文件中了，如果以后想使用，可以利用下面的方法來讀取 cookie 并訪問網站，感受一下

import cookielib
import urllib2
 
#創建MozillaCookieJar實例對象
cookie = cookielib.MozillaCookieJar()
#從文件中讀取cookie內容到變量
cookie.load('cookie.txt', ignore_discard=True, ignore_expires=True)
#創建請求的request
req = urllib2.Request("http://www.baidu.com")
#利用urllib2的build_opener方法創建一個opener
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
response = opener.open(req)
print response.read()

拓展：

cookielib 模塊的主要作用是提供可存儲 cookie 的對象，以便于與 urllib2 模塊配合使用來訪問 Internet 資源。Cookielib 模塊非常強大，我們可以利用本模塊的 CookieJar 類的對象來捕獲 cookie 并在后續連接請求時重新發送，比如可以實現模擬登錄功能。該模塊主要的對象有 CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。 它們的關系：CookieJar —— 派生 ——>FileCookieJar —— 派生 ——->MozillaCookieJar 和 LWPCookieJar

以上是python爬蟲Cookie的使用方法的所有內容，感謝各位的閱讀！相信大家都有了一定的了解，希望分享的內容對大家有所幫助，如果還想學習更多知識，歡迎關注億速云行業資訊頻道！