每个词都能看见其他词

注意力的数学形式是一行：

$$\text{Attention}(Q, K, V) = \text{softmax}!\left(\frac{QK^\top}{\sqrt{d_k}}\right)V$$

把上面的比喻对上去。输入是一串向量 $X$（每个词一行）。三个矩阵 $W_Q, W_K, W_V$ 是可训练的参数，把每个词的向量分别变换成它的查询 $Q = XW_Q$、键 $K = XW_K$、值 $V = XW_V$。$QK^\top$ 一次算出所有词对所有词的查询与键的点积，也就是相关度打分。除以 $\sqrt{d_k}$ 是为了让分数的尺度不随向量维度膨胀，否则 softmax 会把权重挤到极端。softmax 逐行把分数变成加起来为 1 的权重。最后乘以 $V$，就是按权重对所有词的值加权求和。

注意这里面没有任何「语法规则」，也没有任何关于「代词该看名词」的先验。三个矩阵一开始是随机的，模型为了预测下一个词、在训练中逐渐学到了让注意力落在有用位置上的变换。语法关系是被逼出来的副产品。

另一个值得注意的性质：这个计算对序列里的每个词是并行的。以前的循环网络必须一个词一个词地顺序处理，处理第一千个词要等前九百九十九个算完；注意力一次矩阵乘法算完全部，这是 Transformer 能用几万块 GPU 并行训练、从而能做到今天这个规模的直接原因。代价是计算量随序列长度的平方增长，长上下文的技术难题多半来自这里。

在 Transformer 之前，处理序列的主流是循环神经网络（RNN）及其改进版 LSTM。它们的思路很自然：一个词一个词地读，每读一个词就更新一个「记忆」向量，读完整句话，记忆里应该装着句子的含义。

它输在两个地方。第一是记忆的瓶颈：不管句子多长，所有信息都要挤进一个固定大小的向量，读到第一百个词时，第一个词的信息已经被冲淡到几乎不剩。人们加了各种「门」来控制记忆的写入和遗忘，改善了，但没有根除。第二是无法并行：第一百个词的处理必须等前九十九个算完，训练时几万块 GPU 只能排队。

注意力最初是作为 RNN 的补丁出现的（2014 年，用于翻译）：让解码器在生成每个词时回头「看」输入句子的所有位置，而不是只依赖那个被压缩的记忆。2017 年的论文做了一个大胆的删减：既然注意力这么好用，干脆把循环去掉，只留注意力。标题里的「你所需要的一切」说的就是这个。

结果是记忆瓶颈消失了（每个词都能直接看到每个词，不经过压缩），并行也有了。代价是计算量随长度平方增长，以及需要位置编码来补回顺序。近几年出现了一些试图兼得两者的新架构（状态空间模型等），在长序列上有优势，但截至本书写作，Transformer 仍是主流。

注意力对序列里每一对词都要算一次相关度。一千个词是一百万对，一万个词是一亿对，十万个词是一百亿对。计算量和显存都随长度平方增长。这就是为什么早期模型的窗口只有几千 token，也是为什么「上下文窗口」曾经是各家竞争的焦点。

缓解它的办法大致三类。算得更聪明：不改变数学结果，但重新安排计算顺序以减少显存读写，这一类方法让同样的硬件能处理几倍长的序列。算得更少：只让每个词看附近的词、或者看少数「摘要」位置，牺牲一点精度换长度。换架构：用状态空间模型等不依赖两两比较的结构，计算量随长度线性增长，在超长序列上有优势，但在语言任务上还没有全面取代注意力。

生成时还有另一笔账。每写一个新 token 都要把整个序列重新算一遍吗？不用：前面的词的键和值在上一步已经算过了，把它们缓存起来，新 token 只需要算自己的，再和缓存比对。这叫 KV 缓存，是长对话能实时响应的关键。它的代价是显存：一个长上下文的缓存可能有几十 GB，这也是长上下文的调用更贵的直接原因。

以一个典型的几十亿参数模型为例，参数大致分布在四处。

嵌入层：词表大小乘以向量维度。十万词表、四千维，就是四亿参数。它把 token 变成向量，最后的输出层常常复用同一张表把向量变回 token。

注意力：每层四个矩阵（查询、键、值、输出），每个是维度的平方。四千维时每层约六千万参数，乘以层数。

前馈网络：每层两个矩阵，中间维度通常是向量维度的四倍，所以每层约一亿三千万参数，是注意力的两倍。这是模型参数最多的地方，也被认为是「知识」主要储存的地方。混合专家把这一部分复制成多份，让总参数暴涨而每次只用几份。

归一化和位置：几乎可以忽略。

这个分布解释了几件事：为什么扩大词表会显著增加参数；为什么混合专家只改前馈网络；为什么「知识编辑」的研究主要盯着前馈层。它也提醒我们，「参数」不是均匀分布的智慧，而是几种功能不同的矩阵。

2017 年的原始 Transformer 是为翻译设计的，有两半：编码器读入源语言句子，让每个词看到全句；解码器生成目标语言，每个词只能看到自己前面的词（不能偷看后面），同时可以看编码器的输出。

后来出现了三条路线。只用编码器（如 2018 年的 BERT）：每个词看到全句，擅长理解和分类，但不擅长生成。编码器加解码器（如 T5）：保留原始结构。只用解码器（如 GPT 系列）：每个词只看前面，天然就是「预测下一个词」的语言模型。

只用解码器的路线最终成为主流，有几个原因。它的训练目标最简单，和「语言模型」的定义完全一致，不需要设计特殊任务。它天然适合生成，而生成能覆盖理解（要分类，就让它生成「正面」或「负面」）。它的规模扩展得最顺，规模定律在它身上最干净。还有一个工程原因：只看前面的词意味着生成时可以缓存已经算过的键和值，每写一个新词只需要为它计算一次，这叫 KV 缓存，是长对话能实时响应的关键。

所以当你听到「GPT」，那三个字母是「生成式预训练 Transformer」，「生成式」指的就是这条只用解码器的路线。

「从分布里选一个」的方式有好几种，它们各有用途。

实际产品通常组合使用：温度 0.7 加 top-p 0.9 是常见默认。当你在 API 里看到 temperature 和 top_p 两个参数，它们对应的就是这张表。