使用Python爬蟲獲取數據可以分為以下幾個步驟:
requests
庫發送HTTP請求獲取網頁內容,使用beautifulsoup4
庫解析網頁內容。import requests
from bs4 import BeautifulSoup
requests
庫發送GET或POST請求獲取網頁的HTML內容。url = "http://example.com" # 要爬取的網頁的URL
response = requests.get(url) # 發送GET請求獲取網頁內容
html_content = response.text # 獲取網頁的HTML內容
beautifulsoup4
庫解析網頁內容,提取所需的數據。soup = BeautifulSoup(html_content, "html.parser") # 使用HTML解析器解析網頁內容
data = soup.find("tag", attrs={"attribute": "value"}) # 根據標簽和屬性找到特定的數據
# 提取文本數據
text_data = data.get_text()
# 提取鏈接
link_data = data["href"]
# 提取圖片鏈接
img_data = data.find("img")["src"]
# 提取表格數據
table_data = []
table = soup.find("table")
rows = table.find_all("tr")
for row in rows:
cols = row.find_all("td")
cols = [col.get_text() for col in cols]
table_data.append(cols)
# 保存到文件
with open("data.txt", "w") as file:
file.write(text_data)
# 存儲到數據庫
import sqlite3
conn = sqlite3.connect("data.db")
cursor = conn.cursor()
cursor.execute("CREATE TABLE IF NOT EXISTS data (text TEXT, link TEXT, img TEXT)")
cursor.execute("INSERT INTO data VALUES (?, ?, ?)", (text_data, link_data, img_data))
conn.commit()
conn.close()
以上是使用Python爬蟲獲取數據的一般步驟,具體的實現方式會根據不同的需求和網頁結構而有所差異。