中文字幕av专区_日韩电影在线播放_精品国产精品久久一区免费式_av在线免费观看网站

溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

cookie怎么在python爬蟲中響應網頁

發布時間:2020-12-01 09:10:25 來源:億速云 閱讀:130 作者:小新 欄目:編程語言

小編給大家分享一下cookie怎么在python爬蟲中響應網頁,希望大家閱讀完這篇文章后大所收獲,下面讓我們一起去探討吧!

Cookie,指某些網站為了辨別用戶身份、進行session跟蹤而儲存在用戶本地終端上的數據(通常經過加密)

比如說有些網站需要登錄后才能訪問某個頁面,在登錄之前,你想抓取某個頁面內容是不允許的。那么我們可以利用Urllib2庫保存我們登錄的Cookie,然后再抓取其他頁面就達到目的了。

從響應中獲取cookie

我們就可以先訪問該站的某個頁,建立了session連接之后,獲取cookie,再偽造頭進行訪問。

>>> from bs4Test import *
>>> s = requests.session()
>>> s.get("https://www.gebiz.gov.sg/ptn/opportunity/BOListing.xhtml?origin=menu")
>>> print(s.cookies)
# 下面是打印結果
, http://www.gebiz.gov.sg/>, http://www.gebiz.gov.sg/>]>

最后拼接cookie串

cook_value = ''
for x in cook:
    cook_value += x.name + '=' + x.value + ';'
cook_value = cook_value[:len(cook_value)-1]
print(cook_value)
#打印結果
__cfduid=d9ed16845e45ce7496268e8b2293dadc81456745242;BIGipServerPTN2_PRD_Pool=18964640.47873.0000;wlsessionid=nUIsyGBSLqjakq4P5dEDh5TNUJBYtw4nIpxkyITzrj2A5CalOWZ9!-936114045

看完了這篇文章,相信你對cookie怎么在python爬蟲中響應網頁有了一定的了解,想了解更多相關知識,歡迎關注億速云行業資訊頻道,感謝各位的閱讀!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

夏津县| 沁水县| 通江县| 和林格尔县| 阿瓦提县| 古蔺县| 闽清县| 南郑县| 浠水县| 马边| 龙游县| 弥勒县| 太仆寺旗| 响水县| 贺州市| 嵩明县| 五原县| 东海县| 丹棱县| 龙山县| 陆丰市| 临湘市| 宁化县| 长丰县| 秦皇岛市| 无锡市| 芮城县| 平乡县| 两当县| 南江县| 三明市| 阿克| 平舆县| 山阴县| 福贡县| 安康市| 汤阴县| 三原县| 泰来县| 凯里市| 江西省|