BrainBank
AI 课堂/知识General Knowledge

Transformers：注意力是你需要的一切

2026/7/20 13:58:41 · 来源

#knowledge#transformers#deep-learning#nlp#attention-mechanism#neural-networks

2017年的《Attention Is All You Need》论文通过用高度可并行化的自注意力机制取代循环和卷积网络，彻底改变了自然语言处理领域，奠定了现代大语言模型的基础。

由谷歌研究人员于2017年发表的开创性研究论文 "Attention is All You Need" 引入了 Transformer，这是一种彻底改变了自然语言处理（NLP）领域的革命性神经网络架构。通过用完全基于注意力机制的架构取代传统的循环神经网络和卷积神经网络，该架构为我们今天使用的现代大语言模型（LLM）奠定了基础，例如 GPT 和 PaLM。

Transformers 架构图Transformers 架构图

范式转变：取代 RNN 和 CNN

在 Transformer 出现之前，序列建模和转导任务严重依赖循环神经网络（RNN）或卷积神经网络（CNN）。Transformer 模型摒弃了这些架构，转而采用一种新颖的 自注意力机制（self-attention mechanism）。

这种转变带来了两个主要优势：

  • 长期依赖关系： 自注意力允许模型直接连接序列中距离较远的单词，从而能够非常高效地捕获上下文。
  • 并行化计算： 与顺序处理 Token 的 RNN 不同，Transformer 能够同时处理整个序列，从而显著提高了训练效率和速度。

Transformer 架构

Transformer 遵循经典的编码器-解码器（encoder-decoder）结构，其中编码器和解码器均由多个相同层的堆栈组成。这些层中的每一层都包含两个主要的子层：

1. 多头自注意力机制 (Multi-Head Self-Attention)

这种机制允许模型在同一时间动态地关注输入序列的不同部分。与执行单一的注意力函数不同，“多头”注意力并行运行多个注意力过程（头），使模型能够同时关注来自不同位置、不同表示子空间的信息。

2. 逐位置的前馈网络 (Position-Wise Feed-Forward Networks)

该子层独立且同样地应用于每个位置，由一个逐点连接的全连接神经网络组成，用于处理注意力机制的输出。

优化与训练增强

为了便于深层架构的训练并防止过拟合，该网络融合了：

  • 残差连接 (Residual Connections)： 添加在每个子层的周围。
  • 层归一化 (Layer Normalization)： 应用于残差连接之后，以稳定训练。
  • 位置编码 (Positional Encoding)： 由于模型缺乏循环或卷积操作，它本身没有序列顺序的概念。作者引入了位置编码——添加在输入嵌入中——以注入关于序列中 Token 相对或绝对位置的信息。

传承与影响

在他们的论文中，作者证明了 Transformer 在多个机器翻译基准测试中实现了顶尖（SOTA）性能，不仅超越了先前的模型，而且训练所需的时间显著减少。如今，这一架构已成为支撑几乎所有现代生成式 AI 和大语言模型（LLM）突破的底层引擎。

要更深入地了解技术细节，您可以在此处阅读原始研究论文：Attention Is All You Need。

核心要点

  • 消除了循环结构： Transformer 完全用自注意力机制取代了顺序处理（RNN/CNN），从而实现了大规模并行化。
  • 顶尖性能： 发布之初，它便在机器翻译中树立了新标杆，同时训练时间显著缩短。
  • 多头注意力： 这一核心机制允许模型同时关注输入序列的不同维度和位置。
  • 位置编码： 直接向输入嵌入中添加了空间上下文，在不需要顺序操作的情况下保留了 Token 顺序。
  • 现代大语言模型的基础： 该架构是当今领先的 AI 模型（包括 GPT、PaLM 以及其他基于 Transformer 的系统）的直接前身。

学习地图

阶段 1：核心概念

  • 序列到序列建模：理解为什么传统的 RNN 和 LSTM 在处理长距离依赖和并行化时会遇到困难。
  • 自注意力机制：学习缩放点积注意力（Scaled Dot-Product Attention）如何基于查询（Queries）、键（Keys）和值（Values）来计算表示权重。

阶段 2：架构细节

  • 多头注意力：掌握将注意力拆分为多个“头”如何使模型能够联合关注来自不同表示子空间的信息。
  • 位置编码：研究由于 Transformer 缺乏循环结构，如何利用正弦和余弦函数将顺序信息注入到词嵌入中。
  • 前馈网络与 LayerNorm：理解稳定训练的逐点后处理、残差连接和层归一化。

阶段 3：实现与扩展

  • 编码器-解码器 vs. 仅解码器：对比原始的翻译模型与现代的仅解码器变体（如 GPT）和仅编码器变体（如 BERT）。
  • 从零开始构建：在 PyTorch 中实现一个基础的多头注意力模块，以巩固理论理解。

动手实践——分步指南

步骤 1：安装依赖

首先，安装 PyTorch 和 Hugging Face Transformers 库，以运行你的第一个 Transformer 模型。

pip install torch transformers

步骤 2：在 Python 中实现缩放点积注意力

在 PyTorch 中编写一个简单的函数来手动计算自注意力，帮助你理解 Query、Key 和 Value 矩阵乘法。

import torch
import torch.nn.functional as F

def scaled_dot_product_attention(q, k, v):
    d_k = q.size(-1)
    scores = torch.matmul(q, k.transpose(-2, -1)) / torch.sqrt(torch.tensor(d_k, dtype=torch.float32))
    weights = F.softmax(scores, dim=-1)
    return torch.matmul(weights, v), weights

# Test with dummy query, key, value tensors
q = k = v = torch.rand(1, 4, 64)
output, weights = scaled_dot_product_attention(q, k, v)
print("Output shape:", output.shape)
print("Attention Weights shape:", weights.shape)

步骤 3：运行预训练的 Transformer Pipeline

使用 Hugging Face 的 pipeline API 加载预训练的 Transformer 模型并运行序列生成，以实际查看该架构的运行效果。

from transformers import pipeline

generator = pipeline("text-generation", model="gpt2")
result = generator("Attention mechanisms revolutionized AI because", max_length=30, num_return_sequences=1)
print(result[0]['generated_text'])

三大推荐资源

  1. 1
    Attention Is All You Need Paper

    The original groundbreaking research paper by Vaswani et al. introducing the Transformer architecture.

    https://arxiv.org/abs/1706.03762

  2. 2
    The Illustrated Transformer by Jay Alammar

    An exceptionally visual and intuitive breakdown of how the Transformer and its self-attention mechanism work.

    https://jalammar.github.io/illustrated-transformer/

  3. 3
    The Annotated Transformer by Harvard NLP

    A line-by-line PyTorch implementation and explanation of the entire Transformer paper.

    https://nlp.seas.harvard.edu/2018/04/03/attention.html

链接由 AI 推荐——使用前建议快速核实。