高效數據清洗Python庫函數實戰

在這個實戰中，我們將使用Python的pandas和numpy庫來進行數據清洗

1. 導入所需庫：

import pandas as pd
import numpy as np

2. 讀取數據：

data = pd.read_csv('data.csv')

3. 查看數據：

print(data.head())

4. 處理缺失值：

# 使用均值填充缺失值
data['column_name'].fillna(data['column_name'].mean(), inplace=True)

# 使用前一個值填充缺失值
data['column_name'].fillna(method='ffill', inplace=True)

# 刪除包含缺失值的行
data.dropna(inplace=True)

5. 轉換數據類型：

# 將某列轉換為整數類型
data['column_name'] = data['column_name'].astype(int)

# 將某列轉換為分類類型
data['column_name'] = data['column_name'].astype('category')

6. 重命名列：

data.rename(columns={'old_column_name': 'new_column_name'}, inplace=True)

7. 刪除不需要的列：

data.drop(['column_name'], axis=1, inplace=True)

8. 篩選數據：

# 篩選滿足條件的行
filtered_data = data[data['column_name'] > 10]

# 篩選滿足多個條件的行
filtered_data = data[(data['column_name1'] > 10) & (data['column_name2'] < 20)]

9. 排序：

# 按某列排序
sorted_data = data.sort_values(by='column_name', ascending=False)

10. 分組和聚合：

# 根據某列分組并計算均值
grouped_data = data.groupby('column_name').mean()

# 根據某列分組并計算多個聚合指標
grouped_data = data.groupby('column_name').agg({'column_name1': ['mean', 'min', 'max'], 'column_name2': 'sum'})

11. 合并數據：

# 將兩個數據集合并在一起
merged_data = pd.concat([data1, data2], axis=0)

# 將兩個數據集按照某列合并
merged_data = pd.merge(data1, data2, on='column_name', how='inner')

12. 寫入數據：

data.to_csv('cleaned_data.csv', index=False)

這些是使用Python進行數據清洗的常見操作。根據實際情況，可以對這些代碼片段進行修改和組合，以滿足特定的數據清洗需求。