查看大图

ResNet 的关键是让信息有一条更短的路回传。残差连接不是装饰，它决定了深层网络能不能稳定训练。这篇重点看评估。速度、精度、显存和可复现设置要一起记录，单个指标不能代表全部。

查看大图

我会看每个残差块的输入输出通道是否一致，不一致时是否有投影分支。这里错了，网络通常会直接维度报错。

在上一篇文章中，我们详细探讨了ResNet的网络结构，以及其创新的“残差连接”如何改善深层神经网络的训练。然而，任何技术都有其优势与不足，今天我们将深入分析ResNet的优缺点，以便更好地理解该模型在不同应用场景中的适用性。

优势

1. 解决梯度消失问题
   • ResNet通过引入残差学习，即采用“shortcut connections”使得信息能够更有效地在网络中传播。这种设计可以减轻深层网络的梯度消失问题。理论上，随着网络深度的增加，损失函数的梯度在反向传播时会显著减小，导致模型难以收敛。而加入残差连接后，残差映射的优化变得更加容易，从而提高了训练效率。

查看大图

评估 ResNet 优势与不足时，先看残差连接带来的训练稳定性，再看参数量、推理成本和任务适配。

例如，在ImageNet竞赛中，ResNet模型成功训练了152层的网络，相比于以往的网络架构，其表现明显提升。

2. 极深网络的训练

   • ResNet允许构建非常深的模型（如1202层），这在以前的网络中是非常困难的。这种深度不仅提高了模型的表达能力，同时在许多任务中都取得了显著的性能提升。

3. 良好的迁移学习能力

   • ResNet能够作为预训练模型，在迁移学习中表现优异。其在大规模数据集上的训练使其能够捕捉到丰富的特征，这些特征可以迁移到其他相关任务中，如图像分类、目标检测等。

4. 集成技术的基础

   • ResNet作为一种具有良好性能的基础网络架构，被广泛应用于很多先进的集成技术中，例如Faster R-CNN和Mask R-CNN，这些模型通过在ResNet框架下添加其它功能模块，进一步提高了检测和分割性能。

不足

1. 计算资源消耗高

   • 虽然ResNet设计上允许网络变得更深，但这也带来了更高的计算资源需求和内存占用。在资源有限的环境中，深层ResNet可能难以部署。

2. 过拟合风险

   • 虽然残差连接减轻了梯度消失的现象，但在样本较少的任务中，过深的模型可能会导致过拟合。这意味着模型在训练集上表现优异，但在测试集上效果不佳。

3. 对传统模型的依赖

   • 尽管ResNet有其独特的优势，但在某些情境下，它仍然依赖于传统的卷积神经网络（CNN）设计。例如，对于某些小数据集，简单的CNN有时能表现得更加高效且不易过拟合。

4. 超参数的选择

   • ResNet虽然引入了残差连接，但模型的性能仍然受超参数选取的影响。这意味着在实际应用中，需要进行较多的调优和实验，以达到最佳的效果。

结合案例

考虑以下示例，通过PyTorch实现一个简单的ResNet模型，并应用于CIFAR-10数据集进行分类任务：

import torch
import torch.nn as nn
import torchvision.transforms as transforms
from torchvision import datasets
from torch.utils.data import DataLoader
from torchvision.models import resnet18

# 数据预处理
transform = transforms.Compose([
    transforms.Resize((224, 224)),
    transforms.ToTensor(),
])

# 下载CIFAR-10数据集
train_dataset = datasets.CIFAR10(root='data', train=True, download=True, transform=transform)
train_loader = DataLoader(dataset=train_dataset, batch_size=64, shuffle=True)

# 加载预训练的ResNet18模型
model = resnet18(pretrained=True)
model.fc = nn.Linear(model.fc.in_features, 10)  # 修改最后一层以适应CIFAR-10

# 定义损失函数和优化器
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)

# 训练模型
model.train()
for epoch in range(5):  # 5个epoch
    for images, labels in train_loader:
        optimizer.zero_grad()
        outputs = model(images)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()
    print(f"Epoch [{epoch+1}/5], Loss: {loss.item():.4f}")

通过这个案例，我们展示了如何利用ResNet进行图像分类，并体现了其优越性。在处理复杂任务时，ResNet展现了强大的学习能力和泛化性能。

查看大图

读到这里，可以把《ResNet之优势与不足》整理成一张复盘表：先说清主线，再拿一个小任务检查结果。

查看大图

读完《ResNet之优势与不足》后，可以先挑一个小样例走完整流程，再判断哪些步骤已经能独立完成。

结论

总体而言，ResNet是一个开创性的网络架构，在许多计算机视觉任务中取得了成功。尽管其存在一些不足之处，但在大多数情况下，ResNet的优势使其成为一种首选的深度学习架构。在下一篇文章中，我们将讨论VGG的应用领域，进一步扩展对深度学习模型设计的理解。

查看大图

《ResNet之优势与不足》可以按“场景、概念、动作、结果”来读。先把这四件事对齐，再回到正文里的参数、代码或流程。