4 Llama3模型概述之Llama3的架构

查看大图

Llama Factory 微调要把环境、数据、训练和评估串成闭环，不能只看启动命令。阅读时可以按「Llama3架构概述 -> 核心组件 -> Llama3的结构图示意 -> 自注意力机制的案例分析」建立结构，再回到正文里的代码、案例或指标做验证。

查看大图

读完后，用一个真实小任务复查：输入是什么，处理环节在哪里，输出是否可验收；失败时先查「Llama3架构概述」，再查「核心组件」。

在上一篇引言中，我们探讨了如何有效使用本系列教程，以便轻松入门Llama3大模型的微调系统。本篇将详细介绍Llama3的架构，为理解其工作原理和特性奠定基础。在下一篇中，我们将深入分析Llama3的主要特性，也是我们实现微调的依据。

Llama3架构概述

Llama3是一种基于“Transformer”架构的预训练语言模型，旨在通过创新的设计和高效的训练方法提升自然语言处理能力。它的架构引入了多个先进的技术，为模型的性能提供了强有力的支撑。

查看大图

读完《Llama3模型概述之Llama3的架构》后，可以先挑一个小样例走完整流程，再判断哪些步骤已经能独立完成。

查看大图

读到这里，可以把《Llama3模型概述之Llama3的架构》整理成一张复盘表：先说清主线，再拿一个小任务检查结果。

核心组件

Llama3的架构主要由以下几个核心组件组成：

1. 输入嵌入层：

   • 该层负责将输入的字符或词汇转换为向量表示。Llama3使用了“WordPiece”分词器，能够将文本分割成子词表征，降低词汇量的复杂性。

2. 多层编码器：

   • Llama3包含多个“编码器”层，负责对输入特征进行逐层提取和转换。每个编码器层由两个主要部分构成：
     • 自注意力机制（Self-Attention）：允许模型在处理每个词时，关注输入序列中其他词的相关性，增强上下文理解能力。
     • 前馈神经网络（Feed-Forward Neural Network）：负责处理自注意力层输出的复杂特征，并进一步进行非线性变换。

3. 残差连接与层归一化：

   • 为了缓解深度网络训练中的梯度消失问题，Llama3在每个编码器层中引入了残差连接和层归一化，使信息流动更加顺畅，模型的收敛速度加快。

4. 输出层：

   • 输出层通常包括一个线性变换和softmax层，目的是将编码信息转化为相应的类别分布，以实现各类下游任务（如文本生成和分类）。

Llama3的结构图示意

下图展示了Llama3的基础结构：

[Input Text] -> [Embedding Layer] -> [Encoder Layer 1] -> ... -> [Encoder Layer N] -> [Output Layer]

自注意力机制的案例分析

自注意力机制是Llama3的一个重要创新，它允许模型在处理某个词时同时关注输入序列中的多个词。举个例子，当输入为“Llama3是一个强大的语言模型”，模型在处理“强大”一词时，也可以关注到“语言模型”这个词，从而更好地理解上下文。

查看大图

阅读 Llama3 架构时，重点看注意力机制、上下文长度、词表处理和推理资源。架构理解要能帮助后续训练和部署决策。

在实际代码中，自注意力的实现大概如下：

import torch
import torch.nn as nn

class SelfAttention(nn.Module):
    def __init__(self, embed_size, heads):
        super(SelfAttention, self).__init__()
        self.embed_size = embed_size
        self.heads = heads
        self.head_dim = embed_size // heads

        assert (
            self.head_dim * heads == embed_size
        ), "Embedding size needs to be divisible by heads"

        self.values = nn.Linear(embed_size, embed_size, bias=False)
        self.keys = nn.Linear(embed_size, embed_size, bias=False)
        self.queries = nn.Linear(embed_size, embed_size, bias=False)
        self.fc_out = nn.Linear(embed_size, embed_size)

    def forward(self, x):
        N, seq_length, _ = x.shape
        value_len, key_len, query_len = seq_length, seq_length, seq_length

        values = self.values(x)
        keys = self.keys(x)
        queries = self.queries(x)

        # Split into multiple heads
        values = values.view(N, value_len, self.heads, self.head_dim).permute(0, 2, 1, 3)
        keys = keys.view(N, key_len, self.heads, self.head_dim).permute(0, 2, 1, 3)
        queries = queries.view(N, query_len, self.heads, self.head_dim).permute(0, 2, 1, 3)

        # Calculate attention scores
        energy = torch.einsum("nqhd,nkhd->nqk", [queries, keys])
        attention = torch.softmax(energy / (self.embed_size ** (1 / 2)), dim=1)

        # Create attention output
        out = torch.einsum("nqk,nvhd->nqhd", [attention, values]).reshape(N, query_len, self.heads * self.head_dim)

        return self.fc_out(out)

在这个代码示例中，我们定义了一个自注意力类，模型通过计算键（keys）、值（values）和查询（queries）之间的关系，来生成上下文相关的词表示。

总结

通过对Llama3的架构分析，我们可以看到其设计上的各项创新，特别是在自注意力机制和深度编码器的使用上，为Llama3的性能提供了显著提升。这些架构特性将为我们在后续的微调环节带来重要的参考及应用基础。

查看大图

读完《Llama3模型概述之Llama3的架构》后，可以回头问三件事：它解决什么问题，哪一步最容易出错，自己能否拿一个小例子跑通。

在下一篇中，我们将继续探讨Llama3的主要特性，这些特性如何在不同场景下进行应用，以及它们对微调效果的影响。