14 Llama Factory大模型Llama3微调系统之训练参数设置

查看大图

Llama Factory 微调要把环境、数据、训练和评估串成闭环，不能只看启动命令。阅读时可以按「一、训练参数概述 -> 二、参数设置的原则 -> 三、具体案例与代码示例 -> 学习率的调整」建立结构，再回到正文里的代码、案例或指标做验证。

查看大图

读完后，用一个真实小任务复查：输入是什么，处理环节在哪里，输出是否可验收；失败时先查「一、训练参数概述」，再查「二、参数设置的原则」。

在上一篇中，我们探讨了微调过程中的微调策略，了解了如何根据具体的任务要求选择合适的微调方法。接下来，我们将深入讨论在微调过程中，如何合理设置训练参数。这是实现高效微调并达到最佳性能的重要环节。

一、训练参数概述

在微调 Llama3 模型时，训练参数主要包括以下几个方面：

查看大图

设置 Llama Factory 训练参数时，先看学习率、批量大小、梯度累积、训练轮数、保存间隔和验证指标。

1. 学习率 (Learning Rate)
2. 批次大小 (Batch Size)
3. 训练轮数 (Number of Epochs)
4. 优化器 (Optimizer)
5. 权重衰减 (Weight Decay)
6. 梯度累积 (Gradient Accumulation)

合理设定这些参数将直接影响模型收敛的速度和效果。

二、参数设置的原则

微调的训练参数设置需要遵循以下原则：

查看大图

读《Llama Factory大模型Llama3微调系统之训练参数设置》时，可以把配图当成路线卡：先看整体顺序，再看每一步为什么这样做，最后再检查边界条件。

1. 学习率设定要具有针对性和灵活性：通常建议从较小的学习率开始，例如 $1e-5$ 到 $5e-5$，在训练过程中可以适时调整。
2. 批次大小的选择要考虑显存限制：批次大小直接影响模型的训练效率与内存使用，通常选用 $16$ 或 $32$。
3. 训练轮数根据任务复杂度和数据量适当选择：一般来说，10到3个 epochs 是一个好的起点。
4. 优化器的选择与具体数据集与任务性质相关：如使用 AdamW 对大多数文本任务非常有效。

三、具体案例与代码示例

以下是一个微调 Llama3 模型的基本代码示例，展示了如何设置训练参数。

from transformers import LlamaForCausalLM, LlamaTokenizer, Trainer, TrainingArguments

# 加载模型和分词器
model_name = "huggingface/llama-3"
model = LlamaForCausalLM.from_pretrained(model_name)
tokenizer = LlamaTokenizer.from_pretrained(model_name)

# 设置训练参数
training_args = TrainingArguments(
    output_dir="./llama3_finetuned",
    num_train_epochs=3,                # 训练轮数
    per_device_train_batch_size=16,    # 批次大小
    learning_rate=5e-5,                 # 学习率
    weight_decay=0.01,                  # 权重衰减
    logging_dir='./logs',                # 日志目录
    logging_steps=10,
)

# 定义Trainer
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,  # 假设 train_dataset 是预处理好的训练数据集
)

# 开始训练
trainer.train()

在这个代码示例中，我们通过 TrainingArguments 来设置各种参数。你可以根据具体的任务和数据集适当调整这些参数。

1. 学习率的调整

我们在训练过程中，可能需要对学习率进行动态调整。例如，可以实现 学习率调度 来逐步降低学习率，以避免在接近收敛时发生“振荡”现象。

2. 批量大小的影响

选择合适的批量大小是进行有效训练的关键。较大的批量大小可以加快训练速度，但也会增加 GPU 消耗。如果大批量大小会导致显存不足，可以考虑进行梯度累积：

# 训练参数中添加梯度累积设置
training_args.gradient_accumulation_steps = 2  # 每两个批次累积一次梯度

查看大图

学完《Llama Factory大模型Llama3微调系统之训练参数设置》后，不妨换一个自己的场景试一次，重点观察输入、处理和输出是否能对应起来。

查看大图

如果想把《Llama Factory大模型Llama3微调系统之训练参数设置》用到自己的任务里，可以先缩小场景，只验证一个最关键的判断点。

四、总结

在本篇教程中，我们详细讨论了 Llama3 微调过程中的训练参数设置。合理地设定这些参数是确保模型有效收敛和达到高性能的关键。接下来，我们将探讨在微调过程中如何进行训练过程监控，以便可以实时了解模型的训练情况和表现。在实际操作中，灵活调整这些参数根据你的具体需求，将有助于提升模型的最终效果。