4 数据清洗：数据挖掘中的重要一步

查看大图

数据挖掘不是只跑算法，而是从数据准备、模式发现到结果解释的一整条流程。阅读时可以按「什么是数据清洗？ -> 数据清洗的步骤 -> 识别和处理缺失值 -> 去除重复数据」建立结构，再回到正文里的代码、案例或指标做验证。

查看大图

读完后，用一个真实小任务复查：输入是什么，处理环节在哪里，输出是否可验收；失败时先查「什么是数据清洗？」，再查「数据清洗的步骤」。

在数据挖掘的过程中，数据预处理是一个至关重要的环节，包含多个步骤以确保数据质量。在上一篇我们讨论了数据挖掘的总体流程，强调了数据预处理在整个过程中不可或缺的地位。今天，我们将深入探讨数据预处理中的一个关键组成部分——数据清洗。

什么是数据清洗？

数据清洗是对原始数据进行处理的过程，以消除或修正错误数据、重复数据和不一致数据，使得数据更加整洁和可靠。理想情况下，数据清洗的目标是提高数据的整体质量，从而为后续分析和挖掘提供一个良好的基础。

数据清洗的步骤

1. 识别和处理缺失值
2. 去除重复数据
3. 修正异常值
4. 一致性处理
5. 格式化数据

1. 识别和处理缺失值

缺失值是数据清洗中最常遇到的问题之一。它们可能由于各种原因产生，比如在数据收集过程中未能获得所有信息。处理缺失值的常用方法有：

• 删除缺失值：最简单直接，但可能会丢失重要信息。

  import pandas as pd
  
  df = pd.read_csv('data.csv')
  df_cleaned = df.dropna()  # 删除缺失值
  

• 填充缺失值：使用均值、中位数、众数或其他策略填充。

  df['column_name'].fillna(df['column_name'].mean(), inplace=True)  # 用均值填充
  

2. 去除重复数据

在数据集中，重复的数据不仅浪费存储空间，还会影响模型的准确性。我们可以通过以下方式去除重复数据：

df_cleaned = df.drop_duplicates()  # 删除重复行

通过使用drop_duplicates()函数，我们可以轻松清理数据集中的冗余信息。

3. 修正异常值

异常值是指在数据集中明显偏离其他数据的数值。它们可能是数据错误或真实的极端情况。处理异常值的方法包括：

• 识别并删除异常值：通常可以使用统计方法，如Z-score或IQR（四分位距）。

  from scipy import stats
  
  df_cleaned = df[(np.abs(stats.zscore(df['column_name'])) < 3)]
  

在这个例子中，我们通过Z-score将绝对值大于3的异常值去除。

4. 一致性处理

在数据集中，数据可能会因为格式不一致而导致分析困难。例如，在一个字段中，日期的格式可能有多种表示方法。我们需要将它们统一为一种格式。

查看大图

做数据挖掘前，先检查缺失值、重复记录、异常点、字段口径和时间范围。数据不干净，模型和结论都会被带偏。

df['date_column'] = pd.to_datetime(df['date_column'])  # 统一日期格式

5. 格式化数据

最后，确保所有数据都是合适的格式。例如，将所有类别变量转换为category类型，以提高效率。

df['category_column'] = df['category_column'].astype('category')

实际案例：数据清洗实施

假设我们有一个包含客户信息的数据集customers.csv，数据集的部分内容如下：

查看大图

读《数据清洗：数据挖掘中的重要一步》时，先确定要解决的场景，再把关键概念和练习动作串起来。这样读到细节时，不容易只记住零散名词。

ID	名字	年龄	电话号码	地址
1	张三	25	12345678	北京市朝阳区
2	李四	NaN	87654321	上海市浦东新区
3	王五	30	12345678	NaN
3	王五	30	12345678	NaN
4	赵六	100	NaN	广州市天河区

步骤概述如下：

1. 识别与处理缺失值：用年龄的均值填充缺失值。
2. 去除重复数据：删除ID为3的重复行。
3. 修正异常值：将年龄大于99的记录视为异常，删除。
4. 一致性处理：确保电话号码字段格式一致。
5. 格式化数据：将名字转换为字符串格式。

import pandas as pd
import numpy as np

# 读取数据
df = pd.read_csv('customers.csv')

# 1. 填充缺失值
mean_age = df['年龄'].mean()
df['年龄'].fillna(mean_age, inplace=True)

# 2. 删除重复数据
df.drop_duplicates(subset=['ID'], inplace=True)

# 3. 删除异常值
df = df[df['年龄'] < 99]

# 4. 格式化电话号码
df['电话号码'] = df['电话号码'].astype(str)

# 最后查看清洗后的数据
print(df)

通过以上代码和步骤，我们可以显著提高数据集的质量，为后续的数据挖掘和分析做好准备。

查看大图

读到这里，可以把《数据清洗：数据挖掘中的重要一步》整理成一张复盘表：先说清主线，再拿一个小任务检查结果。

查看大图

读完《数据清洗：数据挖掘中的重要一步》后，可以先挑一个小样例走完整流程，再判断哪些步骤已经能独立完成。

总结

在数据挖掘过程中，数据清洗是确保分析结果可靠性的重要步骤。通过移除缺失值、重复数据、异常值以及进行一致性处理，我们能够提高数据质量，为后续的分析打下坚实的基础。在下一篇文章中，我们将进一步讨论缺失值的具体处理方式，为读者提供更多方案和技巧。

想了解更多吗？让我们在下一篇中一起深入缺失值处理的细节！