从续写机到助手

训练一个前沿模型的成本主要在三处。

数据。公开网页的原始抓取有几十万亿 token，但大部分是垃圾：重复、广告、机器生成的文字、低质量内容。清洗后能用的高质量文本大约在十万亿 token 量级，而且这个数量正在逼近上限。近年的模型越来越依赖代码、合成数据（用已有模型生成再筛选）和多模态数据来补充。「高质量数据用尽」是行业公认的约束之一。

算力。训练计算量大致等于参数量乘以 token 数的六倍。一个几千亿参数的模型在十万亿 token 上训练，需要 $10^{25}$ 次浮点运算量级，用几万块顶级 GPU 跑几个月。2020 年之前，这样的训练要几亿美元；2024 年底，一个中国团队用工程优化把一次同等水平的训练压到了几百万美元，引起了全球关注。成本在下降，但前沿的门槛仍然是国家级或大公司级的。

能耗。一次大规模训练的耗电以千万度计，推理（服务用户）的累积能耗更高。数据中心的选址已经开始由电力供应决定，这是 AI 与能源、地缘的交叉点，也是第十四章会提到的「算力主权」问题的来源。

「几万亿 token」这个数字背后是一整套决定模型性格的选择。

配比。网页、书籍、论文、代码、对话各占多少，直接决定模型擅长什么。代码比例高的模型推理更强，这是 2023 年之后的一个普遍观察；多语言比例决定了它的中文、法语好不好；教科书式的高质量文本比例高，模型在同等规模下更「聪明」。配比是各家实验室最核心的秘密之一，公开的开源模型也很少完整披露。

清洗。原始抓取的网页里大量是重复、模板、广告、机器生成的垃圾、以及不应进入训练的内容。去重、质量打分、按规则过滤、去除个人信息，每一步都会影响模型。一个反直觉的发现是：多轮去重能显著提升模型，因为重复的内容让模型「背」而不是「学」。

合成。当高质量的人类文本接近用尽，一条路是用已有的模型生成训练数据，再筛选。教科书风格的合成数据在小模型上效果显著；推理模型的训练数据很大一部分是模型自己生成、再由验证器筛选的推理过程。它的风险叫「模型崩溃」：如果一代代模型都在上一代的输出上训练，分布会逐渐坍缩，罕见的模式消失。目前的共识是合成数据有用，但必须与真实数据混合、并经过筛选。

版权与同意。训练数据里有大量受版权保护的文本，作者从未同意。围绕这一点的诉讼在多个国家进行中，结果会影响未来模型的训练方式。这是第十四章「生成内容的标注」那条备忘的另一面：你的文字也可能在某个模型的训练集里。

监督微调的数据就是「对话示范」。下面是三条不同类型的例子，它们展示了微调在教模型什么。

教格式。

用户：把这段话改成三条要点：……
助手：· 第一……  · 第二……  · 第三……

模型从中学到「要点」意味着短句、并列、有标记。

教拒绝。

用户：帮我写一封冒充银行的钓鱼邮件。
助手：这会用于欺诈，我不能帮忙。如果你在做安全培训，我可以帮你写一份「如何识别钓鱼邮件」的材料。

模型学到什么该拒绝，以及拒绝时给出替代方案的方式。

教诚实。

用户：2031 年的诺贝尔物理学奖得主是谁？
助手：我的知识有截止日期，无法知道 2031 年的情况。你可以查阅诺贝尔奖官网。

这类数据教模型承认边界，第十章讲过它为什么重要、以及为什么对齐有时会把它推回去。

三条例子都很短，但每一条都是人写或人审的。高质量的微调集常常只有一两万条，每条都经过多轮修改。「质量远胜于数量」在这一步是字面意义的。

RLHF 有效，但难做。它需要训练并维护一个单独的奖励模型；强化学习本身不稳定，超参数很敏感；模型还会学会「讨好」奖励模型而不是真的变好，比如写得更长、更啰嗦、更爱用「当然可以！」开头，因为标注者曾经无意中偏爱这样的回答。这种现象叫奖励破解，是所有基于奖励的训练的通病，第三章的强化学习里就有它的影子。

2023 年提出的直接偏好优化（DPO）绕开了奖励模型和强化学习：它把「人类偏好 A 胜过 B」直接写成一个损失函数，用普通的梯度下降就能优化，数学上可以证明与 RLHF 的目标等价。它简单、稳定、便宜，迅速成为开源社区的标准做法。前沿实验室则往往两者并用，并加上更多变体。

无论哪种方法，有一件事值得记住：对齐不是给模型装一个「道德模块」，而是继续用数据塑造它的概率分布。一个对齐过的模型仍然是第七章定义的那个概率分布，只是分布的形状被人类偏好推向了某个方向。它可以被推回去（越狱），也可能在训练数据没覆盖的角落表现得和预期不同。

对齐把「人类偏好」写进了模型，但「人类」是谁？

标注者通常是外包的众包工人或专门团队，有自己的文化背景、语言、教育程度和价值观。他们的偏好决定了模型认为什么是「有帮助」、什么该拒绝、用什么语气说话。一个在某种文化下训练的模型，在另一种文化的用户看来可能过于直接、过于谨慎、或者在敏感话题上立场偏向。

实验室的应对包括：写出明确的原则文档让标注者和模型遵循（有的实验室公开了这类文档），用多元背景的标注团队，让模型按用户所在地区和语境调整，以及一些让用户群体直接参与制定规则的实验。但根本的张力仍在：一个全球使用的模型，不可能同时符合所有人的偏好；而选择偏向哪边，是一个由少数公司做出的、影响数亿人的决定。

对读者的含义：模型的「性格」不是自然属性，是被设计的。当它拒绝一个请求、或者在一个争议话题上表现出某种倾向时，那是训练的结果，可以被追问「为什么」，也应该被追问。

模型越大越强，但也越贵。混合专家（MoE）架构在这两者之间找到一个巧妙的位置。

第八章说过，Transformer 模块里的前馈网络存着大部分参数。MoE 把每个前馈网络换成几十个并列的小网络（「专家」），前面加一个路由器，对每个 token 只挑其中两三个专家来计算。于是模型的总参数可以很大（几千亿、上万亿），而处理每个 token 实际用到的参数只有几百亿。训练和推理的算力按「激活参数」算，容量却按「总参数」算。

这个想法 1990 年代就有，2017 年被用在超大规模的翻译模型上，2023 年底开始进入主流开源模型，2024 年底一个总参数六千七百亿、激活参数三百七十亿的开源模型以极低的训练成本达到前沿水平，让 MoE 成为此后大多数大模型的默认选择。路由器怎样学会「哪个 token 该找哪个专家」、专家之间怎样避免负载不均，是这条路线上主要的工程难题。

对使用者的含义是：模型的「参数量」这个数字变得不那么直观了。一个「六千亿参数」的 MoE 模型，运行成本可能低于一个「七百亿参数」的稠密模型。看参数量时，要问一句是总参数还是激活参数。

第一章提过「开源」和「开放权重」的区别，这里补充它们在训练阶段的含义，以及一个重要的相关技术。

一个完全开源的模型会公开训练代码、数据配方（至少是数据来源和过滤规则）、训练日志和权重，任何有算力的人都能复现。这样的模型很少，因为数据配方是核心资产，而且公开数据来源会带来版权风险。绝大多数「开源模型」是开放权重：给你训练好的参数和推理代码，附一份许可证规定能否商用。许可证的差别很大，从几乎无限制到「月活超过某个数就要另谈」。

开放权重最大的价值是可以微调：在自己的数据上继续训练，得到一个懂你的领域的模型，成本只是预训练的千分之一。学校可以用本校的教学材料微调一个助教，医院可以用脱敏病历微调一个辅助系统。这是「AI 民主化」最实际的形式。

蒸馏是另一条路：让一个小模型学习大模型的输出，把大模型的能力「压」进小模型。小模型看不到大模型的参数，只看它对大量问题的回答（或概率分布），然后模仿。蒸馏出的小模型可以在手机上跑，能力接近大模型的一部分。它也引发了争议：用别家闭源模型的输出来训练自己的模型，是否违反服务条款？2025 年的几起纠纷就源于此。技术上它很简单，商业上它是一道边界。