要獲取網頁信息,可以使用Python的requests庫來發送HTTP請求,然后使用BeautifulSoup庫來解析網頁內容。
下面是一個簡單的示例代碼:
import requests
from bs4 import BeautifulSoup
url = 'http://example.com' # 要獲取信息的網頁地址
# 發送GET請求獲取網頁內容
response = requests.get(url)
# 使用BeautifulSoup解析網頁內容
soup = BeautifulSoup(response.text, 'html.parser')
# 獲取網頁標題
title = soup.title.string
print('網頁標題:', title)
# 獲取所有的鏈接
links = soup.find_all('a')
for link in links:
print('鏈接:', link.get('href'))
# 獲取指定元素的內容
element = soup.find('div', class_='content')
print('內容:', element.text.strip())
需要安裝requests庫和BeautifulSoup庫,可以使用pip來安裝:
pip install requests
pip install beautifulsoup4
上述代碼中,使用requests庫發送GET請求獲取網頁內容,然后使用BeautifulSoup解析網頁內容。可以根據需要使用BeautifulSoup的各種功能來提取所需的信息。