13 微调设置参数

学习率、batch size、训练轮数和 warmup 会共同影响稳定性。参数调整不要一次改太多，否则你不知道效果来自哪里。

参数含义可结合 Transformers TrainingArguments 和 PEFT 文档理解。

我会先跑一个短实验，只确认 loss 是否下降、显存是否稳定、输出是否没有明显崩坏。这个小实验过了，再进入完整训练。

在上一篇中，我们聊到了如何选择大模型（LLM）以及相关的基础知识和理论，为了能更好地进行模型微调，我们这一篇将深入探讨微调过程中的设置参数。这一步是保证微调成功的关键所在，正确的参数设置能够显著提升模型的性能和适应性。在我们讨论微调参数之前，先让我们回顾微调的目标和流程。

微调的目标

微调的主要目标是通过在特定领域的数据上调整一个已经经过预训练的大模型，以便它能够更好地执行特定的任务。这个过程通常包括选择合适的学习率、批量大小、训练轮数等关键参数。

设置大模型微调参数时，先看学习率、批量大小、训练轮数、梯度累积、上下文长度和保存策略。

微调参数设置

1. 学习率（Learning Rate）

看《微调设置参数》时，先把图中的问题、关键词、操作和验收标准对上，再读正文会更省力。读完后，最好能用自己的项目重新讲一遍。

学习率是影响模型收敛速度和性能的重要参数。选择合适的学习率对于微调过程至关重要。常用的学习率设置方法包括：

固定学习率：为整个训练过程设置一个恒定的学习率。例如，设置 0.001 是一个常见的起始值，可以根据训练效果进行调整。
```
learning_rate = 0.001
```
学习率调度：在训练过程中动态调整学习率，比如使用学习率衰减（如 ReduceLROnPlateau）或余弦退火策略。这样的策略可以在模型训练趋于稳定后逐步降低学习率，以提高性能。
```
from torch.optim.lr_scheduler import StepLR

scheduler = StepLR(optimizer, step_size=10, gamma=0.1)
```

2. 批量大小（Batch Size）

批量大小直接影响训练的稳定性和训练时间。一般情况下，较大的批量大小能加快训练速度，但可能需要更多的显存。可以尝试以下几种批量大小：

小批量（如 16 或 32）：在资源有限时较为有效。
大批量（如 64 或 128）：适合显存充足的设备，不过需要注意损失函数的波动可能会增大。

batch_size = 32

3. 训练轮数（Epochs）

训练轮数是指将整个训练数据集用于更新模型的次数。为了确定合适的轮数，可以进行早停（Early Stopping）策略判断，监控验证集的损失，如果在若干个轮次中没有改善，则提前停止训练。

epochs = 20

# 使用早停
from pytorch_lightning.callbacks import EarlyStopping

early_stopping = EarlyStopping(monitor='val_loss', patience=3)

4. 优化器（Optimizer）

选择合适的优化器对于微调至关重要。常用的优化器有：

Adam：普遍适用，且在大多数情况下性能良好。
SGD：经典的随机梯度下降，适合于更传统的任务。

import torch.optim as optim

optimizer = optim.Adam(model.parameters(), lr=learning_rate)

5. 正则化（Regularization）

在微调中，引入正则化技术可以防止模型过拟合。常见的正则化方法包括：

Dropout：通过随机丢弃部分神经元来减轻模型过拟合。
L2正则化：向损失函数中增加正则项，以限制模型的复杂度。

6. 数据增强（Data Augmentation）

为提高模型的泛化能力，可以采用数据增强技术生成更多的训练样例。例如，在图像分类任务中，可以通过旋转、翻转、缩放等方式扩增数据集。

from torchvision import transforms

data_transforms = transforms.Compose([
    transforms.RandomHorizontalFlip(),
    transforms.RandomRotation(10),
    transforms.ToTensor(),
])

实际案例

以下是一个简单的微调设置的示例代码：

import torch
from transformers import AutoModelForSequenceClassification, Trainer, TrainingArguments

# 加载模型
model = AutoModelForSequenceClassification.from_pretrained('bert-base-uncased', num_labels=2)

# 设置训练参数
training_args = TrainingArguments(
    output_dir='./results',
    num_train_epochs=3,
    per_device_train_batch_size=32,
    learning_rate=5e-5,
    evaluation_strategy="epoch"
)

# 使用Trainer进行微调
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset
)

# 开始训练
trainer.train()

在上述示例代码中，我们利用transformers库设置了模型和微调参数，并使用Trainer类进行训练。这里所用的参数设置可根据具体的数据集和任务进行调整。

复习《微调设置参数》时，建议把关键概念、操作步骤和可见结果放在同一页里回看。

练习《微调设置参数》时，建议把输入条件、处理动作和可见结果写在一起，方便下次复查。

总结

在本篇中，我们详细探讨了微调过程中的关键参数设置，包括学习率、批量大小、训练轮数等。正确的参数设置将影响微调模型的效果。下一篇文章中，我们将深入探讨微调过程的具体训练步骤，确保你的模型能够高效地学习并适应特定任务的数据。

13 微调设置参数

LLM 微调教程 · 第 13 / 24 篇

这篇内容怎么整理

先按这条路线读