Attention

前言这篇文章是本站《Transformer 详解：从注意力机制到代码实战》的数学补充。它的定位非常具体：只讲"服务 Attention 的数学"，不重复基础线性代数。我们假设你已经读过本站的《矩阵微积分如何服务反向传播》，理解 Jacobian 与向量-Jacobian 乘积（VJP）这两个概念。在此基础上，本文回答三个问题： softmax 的梯度长什么样，为什么是这个形式？为什么 softmax 与交叉熵组合在一起，梯度会变得极简且数值稳定？缩放点积注意力中的 $\sqrt{d_k}$ 究竟从哪里来，为什么非除不可？ Softmax 定义与直觉给定一个实数向量 $z \in \mathbb{R}^n$（常称为 logits，即未归一化的分数），softmax 把它映射成一个概率分布： $$ \text{softmax}(z)_i = \frac{e^{z_i}}{\sum_j e^{z_j}} $$三个值得记住的性质：输出非负且和为 1：天然是概率分布。放大差异：指数运算放大了 logits 之间的差距。$z = [1, 2]$ 时，softmax 输出约 $[0.27, 0.73]$，而不是线性的 $[0.33, 0.67]$——赢家更突出。平移不变：$\text{softmax}(z + c) = \text{softmax}(z)$（对任意常数 $c$）。分子分母同乘 $e^c$，抵消了。这个性质是后面 log-sum-exp 技巧的基础。还有一个常被提及的变体：温度参数 $T$，写作 $\text{softmax}(z / T)$。$T < 1$ 时分布更"尖锐"（注意力更集中），$T > 1$ 时更"平滑"。在 Attention 里，softmax 的温度直接控制"注意力有多集中"。 Softmax 的梯度 softmax 的输入输出都是向量，所以它的"导数"是一个 Jacobian 矩阵。记 $s_i = \text{softmax}(z)_i$，并令分母 $Z = \sum_k e^{z_k}$。 ...

前言 Transformer 是目前深度学习中最重要的一类架构。从 GPT、BERT 这类大语言模型，到 ViT 这类视觉模型，近几年绝大多数突破背后都有它的身影。可以说，理解 Transformer 是读懂当代 AI 的必修课。本文假设你已经读过本站的《正向传播与反向传播：神经网络到底如何学习》，理解"网络是一串函数复合、训练时误差沿链式法则反向流动"这两条主线。我们会沿用同样的思路拆解 Transformer：信息如何向前流动，梯度如何向后流动。本文会从"为什么需要 Attention"讲起，逐步推导公式，最后用一个从零手写的迷你 Transformer（PyTorch）把代码落地。涉及 softmax 的数学细节——梯度、数值稳定性、为什么注意力要除以 $\sqrt{d_k}$——会链接到本站 ai-math 专栏的配套文章，避免在这里打断主线。为什么要 Transformer RNN 的局限在 Transformer 之前，处理序列（文本、语音等）的主流架构是 RNN（循环神经网络）。RNN 像一条传送带，按顺序逐个处理 token，把之前看到的信息压缩在一个隐藏状态里。这个设计有三个天然的瓶颈：无法并行：第 $t$ 步的计算依赖第 $t-1$ 步的隐藏状态，只能从左到右依次计算，GPU 的大规模并行能力完全用不上。长距离依赖困难：信息每传一步都要经过一次变换，距离越远衰减越明显。处理长文本时，开头的词往往"传不到"结尾。信息瓶颈：所有历史都被压缩进一个固定大小的隐藏向量，容量有限。 Transformer 的思路 Transformer 的做法截然不同：一次看完整条序列。它不再按顺序传递状态，而是让序列中的任意两个位置直接交互。先解释一个词：token（词元，我实在不喜欢它的官方中译）是文本被切分后的基本单位，可以是一个词、一个字符或一个子词片段。比如"我吃了一个红苹果"可以切成 6 个 token：我 / 吃 / 了 / 一个 / 红 / 苹果。 flowchart LR subgraph RNN["RNN：信息一站一站传"] direction LR r1["第 1 个"] --> r2["第 2 个"] r2 --> r3["第 3 个"] r3 --> r4["第 4 个"] end subgraph ATTN["Transformer：任意两个直接对话"] direction LR a1["第 1 个"] --- a2["第 2 个"] a1 --- a3["第 3 个"] a1 --- a4["第 4 个"] a2 --- a3 a2 --- a4 a3 --- a4 end 上图为两种架构的token之间的交互示意：从图论的角度来说，RNN 是一个有向路径图，包含 $n$ 个节点（代表隐状态 $h_t$）和 $n-1$ 条有向边（$h_{t-1} \to h_t$）；而 Transformer 是一个完全图，包含 $n$ 个节点和 $\frac{n(n-1)}{2}$ 条无向边（每两个 token 之间都有一条边）。 ...