要抓取網頁內容,可以使用Python中的requests庫。下面是一個簡單的示例代碼:
import requests
# 發起GET請求獲取網頁內容
url = 'https://www.example.com'
response = requests.get(url)
# 檢查請求是否成功
if response.status_code == 200:
# 輸出網頁內容
print(response.text)
else:
print('請求失敗')
這段代碼使用requests庫的get方法發起了一個GET請求,返回的response對象包含了網頁的內容。可以通過response.text
屬性獲取網頁的文本內容。
如果需要傳遞參數或者Headers,可以在get方法中傳遞對應的參數。例如:
import requests
url = 'https://www.example.com'
params = {'key1': 'value1', 'key2': 'value2'}
headers = {'User-Agent': 'Mozilla/5.0'}
response = requests.get(url, params=params, headers=headers)
這里通過params參數傳遞了查詢參數,通過headers參數傳遞了請求頭信息。
除了requests庫,還可以使用其他第三方庫(如BeautifulSoup、Scrapy等)來進一步處理網頁內容,提取需要的數據。