在Python3中,爬蟲數據的清洗可以通過以下幾個步驟進行:
pip install beautifulsoup4 pandas requests
import requests
url = 'https://example.com'
response = requests.get(url)
html_content = response.text
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_content, 'html.parser')
data = soup.find_all('div', class_='item')
import pandas as pd
# 將提取到的數據轉換為Pandas DataFrame
df = pd.DataFrame(data)
# 去除空值
df.dropna(inplace=True)
# 去除重復值
df.drop_duplicates(inplace=True)
# 轉換數據類型
df['price'] = df['price'].str.replace('¥', '').astype(float)
df.to_csv('cleaned_data.csv', index=False)
以上就是使用Python3進行爬蟲數據清洗的基本步驟。根據實際需求,你可能還需要對數據進行更復雜的處理,例如正則表達式匹配、數據轉換等。