5 GAN的训练技巧之学习率调整

查看大图

GAN 进阶内容要围绕稳定性、条件控制、架构变化和评估方法建立判断框架。阅读时可以按「理解学习率在GAN训练中的作用 -> 目标与实践 -> 学习率调整策略 -> 实践案例」建立结构，再回到正文里的代码、案例或指标做验证。

查看大图

读完后，用一个真实小任务复查：输入是什么，处理环节在哪里，输出是否可验收；失败时先查「理解学习率在GAN训练中的作用」，再查「目标与实践」。

在进行生成对抗网络（GANs）的训练时，我们经常面临的不仅仅是网络架构的选择和损失函数的设计，还有如何有效地调整学习率。学习率作为优化算法中的一个关键超参数，直接影响到GAN训练的稳定性与生成效果。在上一篇的“GAN的训练技巧之稳定训练技巧”中，我们讨论了如何通过不同的技术来提高 GAN 训练的稳定性。现在，我们将深入探讨学习率调整的方法，以及如何根据训练进展动态调整学习率以促进更好的生成效果。

理解学习率在GAN训练中的作用

学习率决定了模型在学习过程中的步长。对于GAN而言，生成器和判别器在训练期间需要协调更新，过高的学习率可能导致训练不稳定，甚至使模型发散；而过低的学习率则可能导致收敛速度缓慢，错失更好的生成机会。

查看大图

调整 GAN 学习率时，先看生成器和判别器谁更新过快、谁失去有效反馈。学习率要服务训练平衡。

目标与实践

• 目标：了解如何动态调整学习率以适应训练进程，提高GAN的生成效果。
• 实践：通过实现不同的学习率调度方法来观察对GAN训练的影响。

学习率调整策略

1. 固定学习率：最简单的策略是使用固定的学习率。尽管简单，这种方法容易受到局部极小值和不稳定性的影响。

查看大图

读《GAN的训练技巧之学习率调整》时，先确定要解决的场景，再把关键概念和练习动作串起来。这样读到细节时，不容易只记住零散名词。

2. 学习率衰减：随着训练轮数的增加，逐步减小学习率。这可以通过以下几种方法实现：

   • 时间衰减：每经过一定的epoch，按固定比例减小学习率。例如：

     $$lr_{new} = lr_{initial} \times \frac{1}{1 + decay \times epoch}$$

   • 指数衰减：可以用如下公式实现：

$$lr_{new} = lr_{initial} \times e^{-decay \times epoch}$$

自适应学习率：使用如Adam、RMSprop等优化器，自带有学习率自适应调整的特性，从而提高训练稳定性。

周期性学习率：在一定范围内，以预定策略调整学习率，例如“预热”模式，初期逐步增大学习率，然后周期性地降低。这种方法在许多实际应用中效果显著。

实践案例

下面的代码实现了一个简单的GAN训练过程，并演示如何调整学习率。

import torch
import torch.nn as nn
import torch.optim as optim

# 假设生成器和判别器已经定义
class Generator(nn.Module):
    # 生成器的定义
    pass

class Discriminator(nn.Module):
    # 判别器的定义
    pass

# 初始化
generator = Generator()
discriminator = Discriminator()
lr_initial = 0.0002
decay = 0.01

optimizer_G = optim.Adam(generator.parameters(), lr=lr_initial)
optimizer_D = optim.Adam(discriminator.parameters(), lr=lr_initial)

num_epochs = 100

for epoch in range(num_epochs):
    # 训练判别器和生成器
    # ... 训练代码 ...

    # 学习率调整
    lr_new = lr_initial / (1 + decay * epoch)
    
    for param_group in optimizer_G.param_groups:
        param_group['lr'] = lr_new
    for param_group in optimizer_D.param_groups:
        param_group['lr'] = lr_new

    print(f'Epoch [{epoch + 1}/{num_epochs}], Learning Rate: {lr_new:.6f}')

在这个案例中，我们逐步减少学习率，以期在训练后期更加细致地调整生成器和判别器的权重。

查看大图

复习《GAN的训练技巧之学习率调整》时，建议把关键概念、操作步骤和可见结果放在同一页里回看。

查看大图

练习《GAN的训练技巧之学习率调整》时，建议把输入条件、处理动作和可见结果写在一起，方便下次复查。

总结

在本篇中，我们探讨了学习率在GAN训练中的重要性以及几种有效的学习率调整策略。合适的学习率策略可以显著提高模型训练的稳定性和生成效果。在下一篇“GAN的训练技巧之批量归一化与其他正则化技术”中，我们将进一步讨论如何通过正则化技术进一步提升GAN模型的性能。希望通过这系列教程，您能够掌握GAN训练的各个方面，提升您的研究与应用能力。