14 机器学习小白教程系列：模型评估之交叉验证

查看大图

交叉验证的价值是减少偶然划分带来的误判。它能告诉你模型在不同数据切片上是否稳定，而不只是某一次测试得分好看。

方法细节可参考 scikit-learn 交叉验证文档。

查看大图

看交叉验证结果时，我不只看平均分，也看每折分数差距。波动很大时，说明数据或模型还不稳。

在上一篇文章中，我们详细介绍了模型评估中常用的评估指标，如准确率、召回率和F1-score等。这些指标在评估模型性能时起着至关重要的作用，然而，它们只是完成评估的第一步。在本篇中，我们将探讨交叉验证这一重要技术，它能够帮助我们更好地评估模型的泛化能力，进而避免过拟合和欠拟合的问题。

什么是交叉验证？

交叉验证是一种模型验证技术，它通过将数据集划分为多个子集，来测试模型在不同数据集上的表现。最常用的交叉验证方法是K折交叉验证，它将数据集分为K个部分，每次用一个部分作为验证集，其他部分作为训练集，重复K次，最终计算出模型性能的平均值。

查看大图

使用交叉验证时，先看折数、分层抽样、时间顺序、数据泄漏、指标平均和方差。

交叉验证的基本步骤

1. 将数据集划分为K个子集（通常K为5或10）；
2. 选择一个子集作为验证集，其余K-1个子集作为训练集；
3. 在训练集上训练模型；
4. 在验证集上评估模型性能；
5. 重复步骤2-4，直到每个子集都被用作验证集；
6. 计算K次的性能指标平均值。

K折交叉验证的优点

• 更好的模型评估：通过多次训练和评估，可以获得更稳定的模型性能指标。
• 数据利用效率高：与简单的划分训练集和测试集相比，交叉验证更充分地利用了数据集中的信息。

K折交叉验证的示例

为了更好地理解交叉验证，我们来看一个具体的示例。假设我们有一个数据集（data），其中包含一些特征和目标变量。我们将使用scikit-learn库来实现K折交叉验证。

首先，我们需要导入必要的库：

import numpy as np
import pandas as pd
from sklearn.model_selection import KFold
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score

接着，我们可以创建一个简单的数据集作为示例：

# 创建示例数据集
data = pd.DataFrame({
    'feature1': np.random.rand(100),
    'feature2': np.random.rand(100),
    'target': np.random.randint(0, 2, 100)
})

X = data[['feature1', 'feature2']]
y = data['target']

然后，我们可以设置K折交叉验证：

kf = KFold(n_splits=5, shuffle=True, random_state=42)
model = RandomForestClassifier()

# 存储每次验证的准确率
accuracies = []

for train_index, test_index in kf.split(X):
    X_train, X_test = X.iloc[train_index], X.iloc[test_index]
    y_train, y_test = y.iloc[train_index], y.iloc[test_index]
    
    # 在训练集上训练模型
    model.fit(X_train, y_train)
    
    # 在测试集上进行预测
    y_pred = model.predict(X_test)
    
    # 计算准确率并保存
    accuracy = accuracy_score(y_test, y_pred)
    accuracies.append(accuracy)

# 计算平均准确率
average_accuracy = np.mean(accuracies)
print(f'平均准确率: {average_accuracy:.2f}')

在这个示例中，我们使用了KFold类来实现K折交叉验证。在每次循环中，我们使用不同的训练集和测试集来训练和评估模型，最终得到了一个平均准确率，用于评估模型的性能。

结合实际情况

在实际应用中，交叉验证非常有用。对于那些数据量较小的情况，交叉验证可以有效地利用数据，帮助我们获得更准确的模型评估。而在模型选择和调优过程中，交叉验证同样是不可或缺的工具。

查看大图

阅读《机器学习小白教程系列：模型评估之交叉验证》前，可以先用配图确认主线；读完后再检查哪些步骤能直接操作，哪些还需要补资料。

查看大图

学完《机器学习小白教程系列：模型评估之交叉验证》后，不妨换一个自己的场景试一次，重点观察输入、处理和输出是否能对应起来。

查看大图

如果想把《机器学习小白教程系列：模型评估之交叉验证》用到自己的任务里，可以先缩小场景，只验证一个最关键的判断点。

总结

在本篇中，我们探讨了交叉验证的概念、优点及实现方法。交叉验证通过多次训练和验证，帮助我们客观地评估模型性能，从而在避免过拟合和欠拟合方面提供了有效的支持。在下一篇文章中，我们将讨论过拟合与欠拟合的概念及其解决方案。交叉验证在这里同样扮演着重要角色，帮助我们调节模型参数，使其更好地适应数据。

希望通过本篇的学习，你对交叉验证有了更深入的理解。准备好迎接下一篇的挑战了吗？