要使用Python爬取網頁信息,可以使用以下步驟:
import requests
from bs4 import BeautifulSoup
url = "https://example.com"
response = requests.get(url)
content = response.text
soup = BeautifulSoup(content, "html.parser")
# 以提取所有<a>標簽的鏈接為例
links = soup.find_all("a")
for link in links:
print(link.get("href"))
需要注意的是,爬取網頁信息時應遵守網站的規則和法律,不要過度請求或違反隱私規定。另外,一些網站可能會使用反爬機制,需要使用其他技術來繞過。