利用Requests怎么對BD頁面進行爬取

本篇文章為大家展示了利用Requests怎么對BD頁面進行爬取，內容簡明扼要并且容易理解，絕對能使你眼前一亮，通過這篇文章的詳細介紹希望你能有所收獲。

1.Requests爬取BD頁面并打印頁面信息

# 第一個爬蟲示例,爬取百度頁面
import requests #導入爬蟲的庫，不然調用不了爬蟲的函數
response = requests.get("http://www.baidu.com") #生成一個response對象
response.encoding = response.apparent_encoding #設置編碼格式
print("狀態碼:"+ str( response.status_code ) ) #打印狀態碼
print(response.text)#輸出爬取的信息

2.Requests常用方法之get方法實例，下面還有傳參實例

# 第二個get方法實例
import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數
response = requests.get("http://httpbin.org/get") #get方法
print( response.status_code ) #狀態碼
print( response.text )

3. Requests常用方法之post方法實例，下面還有傳參實例

# 第三個 post方法實例
import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數
response = requests.post("http://httpbin.org/post") #post方法訪問
print( response.status_code ) #狀態碼
print( response.text )

4. Requests put方法實例

# 第四個 put方法實例
import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數
response = requests.put("http://httpbin.org/put") # put方法訪問
print( response.status_code ) #狀態碼
print( response.text )

5.Requests常用方法之get方法傳參實例(1)

如果需要傳多個參數只需要用&符號連接即可如下

# 第五個 get傳參方法實例
import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數
response = requests.get("http://httpbin.org/get?name=hezhi&age=20") # get傳參
print( response.status_code ) #狀態碼
print( response.text )

6.Requests常用方法之get方法傳參實例(2)

params用字典可以傳多個

# 第六個 get傳參方法實例
import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數
data = {
	"name":"hezhi",
	"age":20
}
response = requests.get( "http://httpbin.org/get" , params=data ) # get傳參
print( response.status_code ) #狀態碼
print( response.text )

7.Requests常用方法之post方法傳參實例(2) 和上一個有沒有很像

# 第七個 post傳參方法實例
import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數
data = {
	"name":"hezhi",
	"age":20
}
response = requests.post( "http://httpbin.org/post" , params=data ) # post傳參
print( response.status_code ) #狀態碼
print( response.text )

8.關于繞過反爬機制，以知呼為例

# 第好幾個方法實例
import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數
response = requests.get( "http://www.zhihu.com") #第一次訪問知乎，不設置頭部信息
print( "第一次,不設頭部信息,狀態碼:"+response.status_code )# 沒寫headers，不能正常爬取，狀態碼不是 200
#下面是可以正常爬取的區別，更改了User-Agent字段
headers = {
		"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"
}#設置頭部信息,偽裝瀏覽器
response = requests.get( "http://www.zhihu.com" , headers=headers ) #get方法訪問,傳入headers參數，
print( response.status_code ) # 200！訪問成功的狀態碼
print( response.text )

9.爬取信息并保存到本地

因為目錄關系，在D盤建立了一個叫做爬蟲的文件夾，然后保存信息

注意文件保存時的encoding設置

# 爬取一個html并保存
import requests
url = "http://www.baidu.com"
response = requests.get( url )
response.encoding = "utf-8" #設置接收編碼格式
print("\nr的類型" + str( type(response) ) )
print("\n狀態碼是:" + str( response.status_code ) )
print("\n頭部信息:" + str( response.headers ) )
print( "\n響應內容:" )
print( response.text )

#保存文件
file = open("D:\\爬蟲\\baidu.html","w",encoding="utf") #打開一個文件，w是文件不存在則新建一個文件，這里不用wb是因為不用保存成二進制
file.write( response.text )
file.close()

10.爬取圖片，保存到本地

#保存百度圖片到本地
import requests #先導入爬蟲的庫，不然調用不了爬蟲的函數
response = requests.get("https://www.baidu.com/img/baidu_jgylogo3.gif") #get方法的到圖片響應
file = open("D:\\爬蟲\\baidu_logo.gif","wb") #打開一個文件,wb表示以二進制格式打開一個文件只用于寫入
file.write(response.content) #寫入文件
file.close()#關閉操作，運行完畢后去你的目錄看一眼有沒有保存成功

下面是一個完整的python爬蟲實例，功能是爬取百度貼吧上的圖片并下載到本地；

你也可以關注公眾號 Python客棧 回復 756 獲取完整代碼;

掃描上面二維碼關注公眾號 Python客棧 回復 756 獲取完整python爬蟲源碼

python爬蟲主要操作步驟：

獲取網頁html文本內容；

分析html中圖片的html標簽特征，用正則解析出所有的圖片url鏈接列表；

根據圖片的url鏈接列表將圖片下載到本地文件夾中。

1. urllib+re實現

#!/usr/bin/python
# coding:utf-8
# 實現一個簡單的爬蟲，爬取百度貼吧圖片
import urllib
import re

# 根據url獲取網頁html內容
def getHtmlContent(url):
  page = urllib.urlopen(url)
  return page.read()

# 從html中解析出所有jpg圖片的url
# 百度貼吧html中jpg圖片的url格式為：<img ... src="XXX.jpg" width=...>
def getJPGs(html):
  # 解析jpg圖片url的正則
  jpgReg = re.compile(r'<img.+?src="(.+?\.jpg)" width') # 注：這里最后加一個'width'是為了提高匹配精確度
  # 解析出jpg的url列表
  jpgs = re.findall(jpgReg,html)
  
  return jpgs

# 用圖片url下載圖片并保存成制定文件名
def downloadJPG(imgUrl,fileName):
  urllib.urlretrieve(imgUrl,fileName)
  
# 批量下載圖片，默認保存到當前目錄下
def batchDownloadJPGs(imgUrls,path = './'):
  # 用于給圖片命名
  count = 1
  for url in imgUrls:
    downloadJPG(url,''.join([path,'{0}.jpg'.format(count)]))
    count = count + 1

# 封裝：從百度貼吧網頁下載圖片
def download(url):
  html = getHtmlContent(url)
  jpgs = getJPGs(html)
  batchDownloadJPGs(jpgs)
  
def main():
  url = 'http://tieba.baidu.com/p/2256306796'
  download(url)
  
if __name__ == '__main__':
  main()

運行上面腳本，過幾秒種之后完成下載，可以在當前目錄下看到圖片已經下載好了：

2. requests + re實現

下面用requests庫實現下載，把getHtmlContent和downloadJPG函數都用requests重新實現。

#!/usr/bin/python
# coding:utf-8
# 實現一個簡單的爬蟲，爬取百度貼吧圖片
import requests
import re

# 根據url獲取網頁html內容
def getHtmlContent(url):
  page = requests.get(url)
  return page.text

# 從html中解析出所有jpg圖片的url
# 百度貼吧html中jpg圖片的url格式為：<img ... src="XXX.jpg" width=...>
def getJPGs(html):
  # 解析jpg圖片url的正則
  jpgReg = re.compile(r'<img.+?src="(.+?\.jpg)" width') # 注：這里最后加一個'width'是為了提高匹配精確度
  # 解析出jpg的url列表
  jpgs = re.findall(jpgReg,html)
  
  return jpgs

# 用圖片url下載圖片并保存成制定文件名
def downloadJPG(imgUrl,fileName):
  # 可自動關閉請求和響應的模塊
  from contextlib import closing
  with closing(requests.get(imgUrl,stream = True)) as resp:
    with open(fileName,'wb') as f:
      for chunk in resp.iter_content(128):
        f.write(chunk)
  
# 批量下載圖片，默認保存到當前目錄下
def batchDownloadJPGs(imgUrls,path = './'):
  # 用于給圖片命名
  count = 1
  for url in imgUrls:
    downloadJPG(url,''.join([path,'{0}.jpg'.format(count)]))
    print '下載完成第{0}張圖片'.format(count)
    count = count + 1

# 封裝：從百度貼吧網頁下載圖片
def download(url):
  html = getHtmlContent(url)
  jpgs = getJPGs(html)
  batchDownloadJPGs(jpgs)
  
def main():
  url = 'http://tieba.baidu.com/p/2256306796'
  download(url)
  
if __name__ == '__main__':
  main()

上述內容就是利用Requests怎么對BD頁面進行爬取，你們學到知識或技能了嗎？如果還想學到更多技能或者豐富自己的知識儲備，歡迎關注億速云行業資訊頻道。