25 注意力机制在机器翻译中的应用

查看大图

注意力机制让解码器在生成每个词时动态查看输入的不同位置。它缓解了 Seq2Seq 的固定向量瓶颈。

查看大图

我会画 attention 热力图，看模型在生成关键词时是否关注到正确源词。注意力图不是证明，但能帮助排错。

在上一篇中，我们介绍了机器翻译的基础模型——seq2seq（序列到序列模型），这一模型的核心思想是使用一个编码器将输入句子转换为上下文向量，然后使用解码器生成输出句子。然而，seq2seq模型在处理长句子或复杂句子时存在一定的局限性，因为固定长度的上下文向量可能无法有效地捕捉输入句子中所有的重要信息。这就是注意力机制（Attention Mechanism）派上用场的地方。

什么是注意力机制？

注意力机制可以看作是一种信息选择的方法。它允许模型在生成每个输出的过程中，动态地关注输入序列的不同部分，而不是仅仅依赖于一个固定的上下文向量。这种机制在人类的认知中是常见的，如在阅读一段文字时，我们会聚焦于与当前目标相关的关键信息。

查看大图

读这篇时，可以把「什么是注意力机制？ -> 注意力机制的工作原理 -> 注意力机制的代码实现 -> 复查」当成一条检查线：先看对象、路径和证据，再回到案例、代码或指标里复查。

引入注意力机制后，seq2seq模型演变为注意力模型。在此模型中，对于每个输出时间步，解码器都会计算其对输入序列中每个词的“注意力权重”，并据此选择性地聚合这些词的信息。

注意力机制的工作原理

以机器翻译为例，假设我们要将句子“我爱自然语言处理”翻译成“我爱NLP”。

查看大图

读完《注意力机制在机器翻译中的应用》不要只停在“看懂了”。回头挑一个步骤动手做一遍，再记录哪里卡住，后面的学习会更稳。

1. 编码器阶段：首先，输入句子经过编码器（通常是一个RNN或LSTM）逐个单词进行处理，生成每个时间步的隐藏状态向量$h_t$。

2. 计算注意力权重：在解码的每个时间步$t$，我们需要为当前的解码隐藏状态$h_t^{dec}$计算注意力权重。常用的方法是通过点积计算相似度：

   $$\text{score}_{t,j} = \text{align}(h_t^{dec}, h_j^{enc}) = \frac{\exp(\text{score}(h_t^{dec}, h_j^{enc}))}{\sum_{k=1}^{T} \exp(\text{score}(h_t^{dec}, h_k^{enc}))}$$

   这里的score可以使用简单的点积，或者更复杂的前馈神经网络。$\text{score}_{t,j}$体现了解码器在时间步$t$对编码器在时间步$j$的注意力。

生成上下文向量：根据这些注意力权重，我们可以计算一个加权的上下文向量$c_t$，它是对编码器所有隐藏状态的加权和：

$$c_t = \sum_{j=1}^{T} \text{score}_{t,j} \cdot h_j^{enc}$$

生成输出：最终，解码器将结合其自身的隐藏状态 $h_t^{dec}$ 和上下文向量 $c_t$ 生成当前的输出。

在生成“我爱NLP”过程中，注意力机制允许模型在各个时间步关注不同的输入词。例如，在生成“NLP”这个词时，模型可能会给予“自然语言处理”这个词更大的权重。

注意力机制的代码实现

以下是使用PyTorch实现简化的注意力机制的示例代码:

import torch
import torch.nn as nn

class Attention(nn.Module):
    def __init__(self, hidden_size):
        super(Attention, self).__init__()
        self.hidden_size = hidden_size
        self.attention_weights = nn.Linear(hidden_size * 2, hidden_size)

    def forward(self, decoder_hidden, encoder_outputs):
        # 计算注意力分数
        scores = self.attention_weights(torch.cat((decoder_hidden, encoder_outputs), dim=-1))
        weights = torch.softmax(scores, dim=-1)
        context = torch.bmm(weights.unsqueeze(1), encoder_outputs.unsqueeze(0))
        return context, weights

# 示例
hidden_size = 256
decoder_hidden = torch.randn(1, hidden_size)  # 解码器当前隐藏状态
encoder_outputs = torch.randn(10, hidden_size)  # 10个编码器输出

attention = Attention(hidden_size)
context_vector, attention_weights = attention(decoder_hidden, encoder_outputs)

在上述代码中，我们定义了一个Attention类，该类计算解码器隐藏状态与编码器输出的注意力权重，最终获得上下文向量。

查看大图

复习《注意力机制在机器翻译中的应用》时，建议把关键概念、操作步骤和可见结果放在同一页里回看。

查看大图

练习《注意力机制在机器翻译中的应用》时，建议把输入条件、处理动作和可见结果写在一起，方便下次复查。

结论

注意力机制极大地增强了seq2seq模型的表现，尤其是在翻译长句子时。在未来的在线交流和对话系统中，注意力机制也将继续显示出其强大的灵活性和适应性。下一篇文章我们将探讨对话系统的整体概述和架构设计。希望你能继续关注我们的从零学NLP系列教程！