17 Llama Factory大模型Llama3微调系统测试集评估

查看大图

Llama Factory 微调要把环境、数据、训练和评估串成闭环，不能只看启动命令。阅读时可以按「测试集的准备 -> 模型加载 -> 生成预测 -> 模型评估」建立结构，再回到正文里的代码、案例或指标做验证。

查看大图

读完后，用一个真实小任务复查：输入是什么，处理环节在哪里，输出是否可验收；失败时先查「测试集的准备」，再查「模型加载」。

在前一篇文章中，我们深入探讨了模型评估中使用的各种评估指标，例如准确率、召回率和F1分数等。今天，我们将具体讨论如何在Llama3微调后的模型上进行测试集评估。在本篇中，我们将详细介绍测试集使用的内容，并结合具体案例和代码示例进行说明。

测试集的准备

首先，确保您已经准备好用于评估的测试集。测试集应该是一个与训练集和验证集完全不同的数据集，包含实际场景中模型将要处理的数据。测试集的质量对于评估结果的可靠性至关重要。

查看大图

做 Llama3 测试集评估时，先看测试集隔离、任务覆盖、评分标准、人工抽样、错误类型和基线对比。

import pandas as pd

# 加载测试集数据
test_data = pd.read_csv('test_data.csv')
print(test_data.head())

在这里，我们假设测试集的数据存储在一个CSV文件中。test_data应该包含输入特征和对应的目标标签。

模型加载

接下来，您需要加载已经微调好的Llama3模型。假设我们已经完成了模型的微调并保存到了本地。

查看大图

《Llama Factory大模型Llama3微调系统测试集评估》适合边看图边读正文。先确认问题和判断标准，再看概念解释与练习步骤，信息会更容易连成一条线。

from transformers import LlamaForCausalLM, LlamaTokenizer

# 加载微调后的模型
model_path = 'path/to/your/fine-tuned/model'
tokenizer = LlamaTokenizer.from_pretrained(model_path)
model = LlamaForCausalLM.from_pretrained(model_path)

生成预测

在准备好测试集之后，我们可以开始为测试集生成预测结果。我们将使用Llama3模型对测试集进行推理。

def generate_predictions(model, tokenizer, test_data):
    predictions = []
    for index, row in test_data.iterrows():
        input_text = row['input']  # 假设测试集有一列是输入文本
        inputs = tokenizer(input_text, return_tensors='pt')
        outputs = model.generate(**inputs)
        predicted_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
        predictions.append(predicted_text)
    return predictions

predictions = generate_predictions(model, tokenizer, test_data)

此函数遍历测试集的每一行，使用Llama3模型生成文本预测。请确保修改列名以适应您的测试集结构。

模型评估

当我们得到了测试集的预测结果后，我们需要将这些结果与实际标签进行比较，进行后续的评估。可以采用前文提到的评估指标。

from sklearn.metrics import accuracy_score, f1_score

# 真实标签
true_labels = test_data['target'].tolist()  # 假设测试集有一列是目标标签
# 计算评估指标
accuracy = accuracy_score(true_labels, predictions)
f1 = f1_score(true_labels, predictions, average='weighted')

print(f"Accuracy: {accuracy:.2f}")
print(f"F1 Score: {f1:.2f}")

在这里，我们使用了sklearn库来计算评估指标。注意，f1_score的average参数可以根据需求进行调整。

查看大图

复习《Llama Factory大模型Llama3微调系统测试集评估》时，建议把关键概念、操作步骤和可见结果放在同一页里回看。

查看大图

练习《Llama Factory大模型Llama3微调系统测试集评估》时，建议把输入条件、处理动作和可见结果写在一起，方便下次复查。

总结

在这一篇中，我们详细介绍了如何使用Llama3微调模型对测试集进行评估，包括测试集的准备、模型加载、生成预测和计算评估指标。确保在使用模型之前，测试集足够代表性且与训练集无任何重叠。

接下来，我们将在下一篇文章中分析评估结果，包括深入的结果解读和可能的改进方向。敬请期待！