您好,登錄后才能下訂單哦!
了解python爬蟲之request怎么定義headers?這個問題可能是我們日常學習或工作經常見到的。希望通過這個問題能讓你收獲頗深。下面是小編給大家帶來的參考內容,讓我們一起來看看吧!
對于寫爬蟲來講,模擬瀏覽器是發請求的時候做的最多的事情了,最常見的模擬瀏覽器無非就是偽裝headers:
In [23]: url = 'http://xlzd.me' In [24]: headers = {'User-Agent': 'my custom user agent', 'Cookie': 'haha'} In [25]: requests.get(url, headers=headers)
拓展:
怎樣取出HTTP response里面的內容呢?
In [7]: r = requests.get('http://xlzd.me') In [8]: r.encoding Out[8]: 'UTF-8' In [9]: r.headers Out[9]: {'Content-Encoding': 'gzip', 'Transfer-Encoding': 'chunked', 'Vary': 'Accept-Encoding', 'Server': 'nginx', 'Connection': 'keep-alive', 'Date': 'Fri, 11 Dec 2015 06:42:31 GMT', 'Content-Type': 'text/html; charset=UTF-8', 'X-Pingback': 'http://xlzd.me/action/xmlrpc'} In [10]: r.cookies Out[10]: <RequestsCookieJar[]> In [11]: r.text Out[11]: u'<!DOCTYPE HTML>\n<html>\n\t<hea......
requests會自動對響應內容編碼,所以就可以通過r.text取出響應文本了。對于別等響應內容(文件、圖片、...),則可以通過r.content取出來。對于json內容,也可以通過r.json()來取。
感謝各位的閱讀!看完上述內容,你們對python爬蟲之request怎么定義headers大概了解了嗎?希望文章內容對大家有所幫助。如果想了解更多相關文章內容,歡迎關注億速云行業資訊頻道。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。