19 Llama3大模型开发之验证集与测试集的建立

查看大图

Llama3 开发要从模型理解走到数据、训练、评估和部署，形成可复现流程。阅读时可以按「验证集与测试集的定义 -> 数据集的划分策略 -> K折交叉验证示例 -> 验证集与测试集的构建示例」建立结构，再回到正文里的代码、案例或指标做验证。

查看大图

读完后，用一个真实小任务复查：输入是什么，处理环节在哪里，输出是否可验收；失败时先查「验证集与测试集的定义」，再查「数据集的划分策略」。

在进行任何模型评估之际，关键的一步是确保我们拥有合适的验证集和测试集。这一篇将详细讲解如何根据上篇的模型评估指标，为Llama3大模型建立有效的验证集和测试集，并为后续的结果分析与可视化做准备。

1. 验证集与测试集的定义

在机器学习中，验证集和测试集是用于评估模型性能的两种重要数据集。它们的分别如下：

查看大图

建立 Llama3 验证集与测试集时，先看样本来源隔离、任务覆盖、难例比例、泄漏风险和评估流程。

• 验证集：用于在模型训练期间调优和选择最佳模型参数。它帮助减轻过拟合问题，让我们能够根据实际性能来选择模型。

• 测试集：用于评估最终模型的性能，它帮助检查模型是否具备良好的泛化能力。测试集应避免在训练和验证过程中被使用。

2. 数据集的划分策略

为了有效地建立验证集和测试集，我们需要根据数据集的特性选择合适的划分策略。一般而言，我们可以采用以下几种常见方式：

查看大图

读《Llama3大模型开发之验证集与测试集的建立》时，先确定要解决的场景，再把关键概念和练习动作串起来。这样读到细节时，不容易只记住零散名词。

• 固定比例划分：将数据集按照一定比例划分为训练集、验证集和测试集。例如，70%用于训练，15%用于验证，15%用于测试。

• K折交叉验证：将数据集分成K个折，每次用K-1折进行训练，剩下的一折进行验证。这种方法能够更全面地评估模型性能，并获取更为可靠的结果。

2.1 K折交叉验证示例

假设我们有一个包含1000个样本的数据集。使用K折交叉验证的步骤如下：

1. 将数据集随机打乱。
2. 将其分成K个子集（例如K=5，每个子集200个样本）。
3. 进行K次训练与验证。在每一轮中：
   • 使用K-1个子集进行训练。
   • 该轮未使用的子集用于验证模型。

这种方法不仅能有效评估模型性能，还能充分利用数据，提高模型的泛化能力。

3. 验证集与测试集的构建示例

下面是一个Python代码示例，展示如何使用scikit-learn库快速构建训练集、验证集和测试集。

import pandas as pd
from sklearn.model_selection import train_test_split

# 假设我们有一个数据集df，特征在X中，标签在y中
X = df.drop("target", axis=1)
y = df["target"]

# 首先，划分出训练集和临时集（将来分为验证集和测试集）
X_train, X_temp, y_train, y_temp = train_test_split(X, y, test_size=0.3, random_state=42)

# 然后，从临时集中划分出验证集和测试集
X_valid, X_test, y_valid, y_test = train_test_split(X_temp, y_temp, test_size=0.5, random_state=42)

# 输出划分后的数据集大小
print(f'训练集大小: {X_train.shape[0]}')
print(f'验证集大小: {X_valid.shape[0]}')
print(f'测试集大小: {X_test.shape[0]}')

在上述代码中，通过train_test_split函数，我们可以轻松地将原始数据集划分为训练集、验证集和测试集，确保每个集的数据规模适合后续分析。

4. 验证集与测试集的注意事项

• 数据代表性：确保验证集和测试集具有良好的代表性，能够体现整个数据集的分布。

• 避免信息泄漏：在数据预处理阶段，防止使用验证集和测试集的信息进行训练，以免造成模型性能评估的偏差。

查看大图

如果《Llama3大模型开发之验证集与测试集的建立》还没完全消化，可以从这张卡片的四个动作重新走一遍。

查看大图

回看《Llama3大模型开发之验证集与测试集的建立》时，不必一次做大项目，先用一条简单样例确认主线是否清楚。

小结

在本篇中，我们探讨了如何从数据集中建立有效的验证集和测试集，这是评估Llama3大模型性能的重要环节。构建好这些数据集后，我们将能够在下一篇中聚焦于结果分析与可视化，并根据前面讨论的模型评估指标，全面理解模型的表现。

通过精心构建验证集与测试集，当分析模型时，我们能够更清晰地识别出模型的优劣，从而制定更有效的改进策略。准备好进行深度分析了吗？敬请期待下一篇关于模型评估结果分析与可视化的精彩内容！