您好,登錄后才能下訂單哦!
這篇文章主要介紹了python爬蟲模擬瀏覽器訪問-User-Agent過程解析,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
模擬瀏覽器訪問-User-Agent:
import urllib2 #User-Agent 模擬瀏覽器訪問 headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"} #通過urllib2.Request()方法構造一個請求對象 request = urllib2.Request("http://www.baidu.com/",headers = headers) #向指定的URL地址發送請求,并返回服務器響應的類文件對象 #response是服務器響應的類文件,除了支持文件操作的方法外,還支持以下常用的方法: response = urllib2.urlopen(request) #服務器返回的類文件對象支持python文件對象的操作方法 #read()方法就是讀取文件里的全部內容,返回字符串 html = response.read() #返回HTTP的響應碼,成功返回200,4服務器頁面出錯;5.服務器問題 print response.getcode() #返回實際數據的實際URL,防止重定向問題 print response.geturl() #返回服務器響應的HTTP報頭 print response.info() #打印響應內容 print(html)
以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持億速云。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。