17 Pytorch小白从零学教程：模型评估与调优之过拟合与正则化

查看大图

过拟合通常表现为训练集越来越好，验证集开始变差。正则化、数据增强、早停和更好的划分都可以帮助模型泛化。

查看大图

我会画训练 loss 和验证 loss 两条线。两条线之间的距离，比单个最终分数更能说明问题。

在上一篇中，我们讨论了如何评估模型性能，对于深度学习任务而言，模型的性能不仅要评估它在训练集上的表现，同时也要关注其在验证集和测试集上的表现。然而，在评估模型性能时，我们常常会遇到一个问题：过拟合。本篇将深入探讨过拟合的原因，并介绍一些有效的正则化技术，以帮助你构建更具泛化能力的模型。

什么是过拟合？

过拟合是指模型在训练集上表现优异，但在验证集或测试集上表现较差的现象。简单来说，就是模型“记住”了训练样本的细节，却未能学到更具普遍性的特征。

查看大图

排查 PyTorch 过拟合时，先比较训练验证曲线，再调整权重衰减、Dropout、数据增强和早停策略。

过拟合的例子

假设我们在进行手写数字识别的问题，我们有一个包含大量数字图像的数据集。如果我们构建一个太复杂的模型（例如，层数过多、神经元过多的深度神经网络），它得到了极低的训练误差，但在一个新的测试集上，即使是对一些简单数字的识别，它的表现却很糟糕。这就是过拟合——模型“学习”了训练集中的噪声和偶然性，而未能理解数据的本质。

我们可以通过以下图示理解过拟合和欠拟合：

• 欠拟合: 模型复杂度不足，未能捕捉数据的趋势。
• 适应良好: 模型能够在训练和验证集上都表现良好。
• 过拟合: 模型复杂度过高，训练集上表现极好，但验证集上表现不佳。

如何识别过拟合？

我们可以通过观察训练和验证误差来识别过拟合。当训练误差持续下降而验证误差开始上升时，模型很可能已经出现了过拟合。

查看大图

读《Pytorch小白从零学教程：模型评估与调优之过拟合与正则化》时，可以先看配图里的任务、概念、练习和判断点，再回到正文补细节。这样更容易判断这篇内容能放到哪个真实场景里。

import matplotlib.pyplot as plt

# 假设你有训练和验证历史
train_losses = [...]  # 训练损失
val_losses = [...]    # 验证损失

plt.plot(train_losses, label='训练损失')
plt.plot(val_losses, label='验证损失')
plt.xlabel('epoch')
plt.ylabel('损失')
plt.legend()
plt.title('训练与验证损失')
plt.show()

过拟合的解决方案与正则化

1. 使用更多的数据

最简单而有效的解决方法就是增加训练数据量，给模型提供更多样的样本，以减少对特定训练样本的依赖。

2. 数据增强

当获取更多数据不切实际时，可以使用数据增强来对现有数据进行变换，增加样本多样性。例如，翻转、缩放、旋转等操作。

from torchvision import transforms

# 假设你在处理图像数据
augmentation_transforms = transforms.Compose([
    transforms.RandomHorizontalFlip(),
    transforms.RandomRotation(10),
    transforms.ToTensor(),
])

# 应用变换到你的数据集中

3. 正则化技术

正则化是防止过拟合的重要手段，常用的正则化技术有：

L2 正则化（权重衰减）

通过在损失函数中加入权重的L2范数来限制模型复杂度，通常在优化器中添加weight_decay参数。

import torch.optim as optim

model = ...  # Your model
optimizer = optim.Adam(model.parameters(), lr=0.001, weight_decay=1e-5)  # 添加L2正则化

Dropout

Dropout 是一种随机失活神经元的技术，用于减少神经网络的过拟合。

import torch.nn as nn

class MyModel(nn.Module):
    def __init__(self):
        super(MyModel, self).__init__()
        self.fc1 = nn.Linear(784, 128)
        self.dropout = nn.Dropout(0.5)  # 50%的失活

    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = self.dropout(x)  # 在训练时进行Dropout
        return x

4. 提前停止（Early Stopping）

在验证集上监控模型性能，当性能不再提高时，可以停止训练以避免过拟合。

best_val_loss = float('inf')
patience = 5  # 容忍的epoch数
counter = 0

for epoch in range(num_epochs):
    train(...)
    val_loss = validate(...)

    if val_loss < best_val_loss:
        best_val_loss = val_loss
        counter = 0  # 重置计数器
        # 保存模型
    else:
        counter += 1
        if counter >= patience:
            print("提前停止训练")
            break

查看大图

复习《Pytorch小白从零学教程：模型评估与调优之过拟合与正则化》时，建议把关键概念、操作步骤和可见结果放在同一页里回看。

查看大图

练习《Pytorch小白从零学教程：模型评估与调优之过拟合与正则化》时，建议把输入条件、处理动作和可见结果写在一起，方便下次复查。

小结

这篇文章讨论了过拟合的概念及其识别方法，并介绍了几种常用的正则化技巧，如L2正则化、Dropout和提前停止技术。通过这些策略，可以有效地提高模型的泛化能力，为后续的超参数调优奠定基础。

在下一篇中，我们将深入探讨模型超参数的调优，帮助你更好地优化模型性能。如果你有任何疑问或想法，欢迎留言讨论！