要使用Python爬蟲爬取數據,你可以按照以下步驟進行操作:
import requests
from bs4 import BeautifulSoup
url = "要爬取的網頁URL"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")
data = soup.select("選擇器")
for item in data:
# 提取數據的操作
# 保存數據的操作
完整的示例代碼如下所示,以爬取豆瓣電影Top250為例:
import requests
from bs4 import BeautifulSoup
url = "https://movie.douban.com/top250"
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")
data = soup.select(".hd")
for item in data:
title = item.select(".title")[0].text.strip()
print(title)
這只是一個簡單的示例,具體的爬取方式和提取數據的方法取決于你要爬取的網頁結構和數據形式,你可能需要做一些定制化的操作。另外,爬取數據時要注意遵守網站的爬蟲規則,避免對網站造成過大的負擔。