从续写机到助手
一个只会预测下一个词的模型，怎样变成会回答问题、会拒绝不当请求、会先思考再作答的助手？三个训练阶段，加上两个仍然没人完全解释的现象。
这一讲对应《Hello, AI》第 9 章《从续写机到助手》。主线约 8 分钟的阅读量，展开讲一节课。
本章要回答的问题：从随机初始化的参数到一个可用的助手，中间经过了什么？为什么规模一大，能力会突然出现？
给它一段文字，它给出下一个 token 的概率分布
一无所知
每个概率都是瞎猜。
能回答、会拒绝、先列步骤再作答
从前者到后者的路，就是这一章。
这条路分三段：第一段最贵（用掉几乎全部算力，学会语言和世界），第二段最短（教它对话的格式），第三段最微妙（让它按人类偏好行事）。
从随机初始化的参数到一个可用的助手，
中间经过了什么？
走完三段之后，还有两个现象需要解释：
为什么规模一大能力会突然出现，
为什么让模型「先想想」会显著提高可靠性。
把这两个问题写在黑板上，整章结束时回头对答案。
这一章的地图
- 预训练万亿 token → 基础模型。贵。
- 监督微调几万条示范对话 → 会对话的模型。短。
- 对齐几十万条偏好排序 → 助手。微妙。
后半章的三个现象：涌现、推理模型、混合专家。
让学生对这张图拍照。整章都在这张图上。
预训练
任务只有一个：在海量文本上预测下一个 token。方式就是第四章的梯度下降加第六章的反向传播，只不过在几万块 GPU 上跑几个月。
要预测得好，它不得不学会一切
- 「法国的首都是」要预测下一个词，模型必须记住地理。
- 一段代码的下一行它必须理解语法和逻辑。
- 一个侦探故事的结尾它必须追踪几十页之前埋下的线索。
预测下一个词是一切语言任务的公分母。
所以一个把这件事做到极致的模型，会顺带学到几乎所有东西。
数据来自网页、书籍、论文、代码、百科，去重清洗后是几万亿个 token——大致相当于把人类公开的文字读上一遍。
这是全章最反直觉的一点：一个看起来如此简单的目标，逼出了如此广的能力。值得多停半分钟。
它很强，
但不好用。
你问它「什么是光合作用？」，
它可能续写出「什么是呼吸作用？什么是细胞分裂？」
因为在它读过的文本里，一个问题后面最常跟着另一个问题（比如习题集）。
它是一台续写机，不是助手。
第一道自测题就是这个。现场问一遍效果最好。
钱花在哪
下一页拆成三笔账：数据、算力、能耗。
数据、算力、能耗
正在逼近上限
公开网页原始抓取有几十万亿 token，但大部分是重复、广告、机器生成的垃圾。清洗后能用的高质量文本约十万亿 token 量级。
「高质量数据用尽」是行业公认的约束之一。近年越来越依赖代码、合成数据和多模态数据补充。
参数量 × token 数 × 6
几千亿参数在十万亿 token 上训练，需要 10²⁵ 次浮点运算量级。
2020 年前这样的训练要几亿美元；2024 年底一个中国团队用工程优化把同等水平压到了几百万美元。成本在降，但门槛仍是国家级或大公司级。
以千万度计
一次大规模训练的耗电以千万度计，推理（服务用户）的累积能耗更高。
数据中心的选址已经开始由电力供应决定——这是第十四章「算力主权」问题的来源。
让学生对「10²⁵」有点感觉：地球上所有人每秒做一次加法，做一百万年，也远远不到。
配比、清洗、合成、版权
它决定模型的性格
网页、书籍、论文、代码、对话各占多少，直接决定模型擅长什么。代码比例高的模型推理更强——这是 2023 年之后的普遍观察。
配比是各家实验室最核心的秘密之一，开源模型也很少完整披露。
一个反直觉的发现
去重、质量打分、规则过滤、去除个人信息，每一步都影响模型。
多轮去重能显著提升模型——因为重复的内容让模型「背」而不是「学」。
有用，但必须混合与筛选
用已有模型生成训练数据再筛选。推理模型的训练数据很大一部分就是模型自己生成、再由验证器筛过的推理过程。
风险叫模型崩溃：一代代都在上一代输出上训练，分布会坍缩，罕见的模式消失。
诉讼正在进行
训练数据里有大量受版权保护的文本，作者从未同意。多个国家的诉讼结果会影响未来模型的训练方式。
这是第十四章那条备忘的另一面：你的文字也可能在某个模型的训练集里。
版权那一张卡可以引一个讨论题：如果学校把学生作业用于微调，需要什么手续？第十四章会正面回答。
监督微调
让续写机变成助手的第一步，出奇地简单。
它改变的是格式和风格，不是知识
每条是一个问题加一个高质量的回答，由人写或经人审核。用第四章的监督学习继续训练，模型就学会了：
一个问题后面该接一个回答，而不是另一个问题。
模型的知识在预训练时已经学到，微调只是教它用哪种方式把知识拿出来。
所以微调的数据量比预训练小几个数量级。一般经验：一万条精心写的对话，胜过一百万条随便写的。
- 它会一本正经地帮你做任何事包括有害的事。
- 回答质量参差不齐示范数据不可能覆盖所有情况。
这两个问题由第三阶段解决。
学生最容易误解的是「微调能给模型加知识」。这里要明确：主要不是。加知识更常用的办法是第十章的检索增强。
三条例子，三件事
模型学到「要点」意味着短句、并列、有标记。
学到什么该拒绝，以及拒绝时给出替代方案的方式。
教模型承认边界——第十章会讲它为什么重要。
三条都很短，但每一条都是人写或人审的。高质量的微调集常常只有一两万条，每条经过多轮修改。「质量远胜于数量」在这一步是字面意义的。
可以让学生自己写一条「教诚实」的微调数据当堂作业，五分钟，效果很好。
对齐
不再给模型「标准答案」，而是给它「偏好」。
从人类反馈中强化学习
- 让模型对同一个问题生成几个回答。
- 请人来排序：哪个更有帮助、更诚实、更无害。
- 收集几十万条这样的排序，训练一个奖励模型，让它学会像人一样给回答打分。
- 用第三章的强化学习：模型不断生成，奖励模型打分，分高的行为被强化。
回扣第三章：那里讲的「试错 + 奖励」在这里终于用到了语言模型上。可以复习一下当时的对照表（状态/动作/一局/奖励）。
有帮助、诚实、无害
永远拒绝
很无害，但毫无帮助。
百分之百顺从
很有帮助，但可能有害。
对齐做的，就是在张力之间找到人类偏好的位置。
- 「人类偏好」由谁定义？
- 标注者是谁？
- 他们的价值观有代表性吗？
这三个问题下一页展开。它们是本章最值得课堂讨论的部分。
有效，但难做
- 要维护一个单独的奖励模型
- 强化学习本身不稳定超参数很敏感。
- 奖励破解模型学会「讨好」奖励模型而不是真的变好：写得更长、更啰嗦、更爱用「当然可以！」开头——因为标注者曾经无意中偏爱这样的回答。
这是所有基于奖励的训练的通病，第三章的强化学习里就有它的影子。
直接偏好优化绕开了奖励模型和强化学习：把「人类偏好 A 胜过 B」直接写成一个损失函数，用普通梯度下降就能优化，数学上可证与 RLHF 目标等价。
简单、稳定、便宜，迅速成为开源社区的标准做法。前沿实验室则往往两者并用。
无论哪种方法，记住一件事：对齐不是给模型装一个「道德模块」，而是继续用数据塑造它的概率分布。它可以被推回去（越狱），也可能在训练数据没覆盖的角落表现得和预期不同。
「对齐过的模型仍然是第七章定义的那个概率分布，只是分布的形状被推向了某个方向」——这句话可以板书。
谁的偏好？
标注者通常是外包的众包工人或专门团队，有自己的文化背景、语言、教育程度和价值观。他们的偏好决定了模型认为什么是「有帮助」、什么该拒绝、用什么语气说话。
一个在某种文化下训练的模型，在另一种文化的用户看来可能过于直接、过于谨慎，或者在敏感话题上立场偏向。
实验室的应对：写出明确的原则文档让标注者和模型遵循；用多元背景的标注团队；让模型按用户所在地区和语境调整；一些让用户群体直接参与制定规则的实验。
一个全球使用的模型，
不可能同时符合所有人的偏好；
而选择偏向哪边，是一个由少数公司做出的、影响数亿人的决定。
对我们的含义：模型的「性格」不是自然属性，是被设计的。当它拒绝一个请求、或在争议话题上表现出某种倾向时，那是训练的结果，可以被追问「为什么」，也应该被追问。
讨论题（十分钟）：如果要为中国的中学生做一个学习助手，你会在「有帮助」和「无害」之间怎样取舍？谁来定这个标准？
涌现：规模跨过门槛之后
三个阶段解释了「怎么造」。但有一个现象它们解释不了。
从「完全不会」跳到「突然会了」
研究者在 2020 年前后注意到：把同一个架构从十亿参数放大到千亿参数，某些能力会陡然上升。
- 三位数加法
- 多步推理
- 把指令翻译成代码
在小模型上准确率接近零，跨过某个规模后陡然上升。
不需要任何训练，只要在提示里给几个例子，模型就能在当场学会一个新任务。
2020 年的 GPT-3 上第一次被系统展示。它意味着一个模型可以做训练时没人为它设计过的任务。
上下文学习是「提示工程」这门手艺存在的根本原因。第十二、十四章都会用到。
是真的突变，还是指标造成的假象？
一些「突变」是评估指标造成的
如果用「完全正确才算对」来打分，能力看起来会突变；换成连续的打分，曲线就是平滑的。
那个事实没有变
即使曲线是平滑的，「大到某个程度后能做以前做不了的事」仍然成立。
它是过去六年整个行业押注「更大」的理由。
这一页也是一堂小小的方法论课：指标的选择会改变你看到的现象。第五章讲过同一件事。
推理模型：让它先想一想
2022 年的一个发现看起来像个小技巧：在提示里加一句「让我们一步一步思考」，模型在数学和逻辑题上的准确率大幅提高。
把草稿纸放进上下文
模型每次只预测一个 token，没有内部的「草稿纸」。让它把中间步骤写出来，等于把草稿纸放进了上下文，每一步都可以看到前面的步骤。这叫思维链。
「想久一点」成了一个可以花钱买的旋钮
用强化学习专门奖励「先写出推理过程、再给答案，而且答案正确」的行为。模型学会了在回答前自发生成几百到几万个 token 的思考——试错、回退、验证，然后才给出结论。
训练时的算力
提高能力靠更大的模型。
推理时的算力
靠更长的思考。
这个转变对成本预算的影响很大：同一个模型，「快答」和「深思」可能差几十倍价钱。做产品时这是要显式设计的一个开关。
总参数很大，每次只用一小部分
第八章说过，Transformer 模块里的前馈网络存着大部分参数。MoE 把每个前馈网络换成几十个并列的小网络（专家），前面加一个路由器，对每个 token 只挑其中两三个专家来计算。
于是：训练和推理的算力按「激活参数」算，容量却按「总参数」算。
「参数量」这个数字变得不那么直观了。
一个「六千亿参数」的 MoE 模型，运行成本可能低于一个「七百亿参数」的稠密模型。
看到参数量，先问一句：
总参数，还是激活参数？
工程难题：路由器怎样学会「哪个 token 该找哪个专家」，以及专家之间怎样避免负载不均。
第四道自测题就是这个。
一道技术上简单、商业上敏感的边界
很少
公开训练代码、数据配方、训练日志和权重，任何有算力的人都能复现。
少见的原因：数据配方是核心资产，公开来源还会带来版权风险。
绝大多数「开源模型」
给你训练好的参数和推理代码，附一份许可证。许可证差别很大，从几乎无限制到「月活超过某个数就要另谈」。
最大的价值是可以微调：在自己的数据上继续训练，成本只是预训练的千分之一。学校可以用本校教材微调一个助教，医院可以用脱敏病历微调一个辅助系统——这是「AI 民主化」最实际的形式。
把大模型压进小模型
小模型看不到大模型的参数，只看它对大量问题的回答，然后模仿。蒸馏出的小模型可以在手机上跑。
争议：用别家闭源模型的输出训练自己的模型，是否违反服务条款？2025 年的几起纠纷就源于此。
「学校可以用本校教学材料微调一个助教」这句，对师范背景的学生特别有共鸣，可以展开一分钟。
预训练教它语言和世界，
微调教它对话的形式，
对齐用人类偏好推动它的行为。
规模跨过门槛后会出现新能力，
让它把思考过程写出来能显著提高可靠性。
它自始至终仍然是一个概率分布，
只是这个分布被三个阶段精心塑造过。
「它自始至终仍然是一个概率分布」——这句话是下一章讲幻觉的钥匙。
一个只做过预训练的基础模型，为什么被问问题时可能反问你另一个问题？
监督微调和对齐都在预训练之后进行，它们各自解决什么问题，用的数据有什么不同？
二、微调用「问题 + 标准回答」的示范数据，教格式和风格；对齐用「几个回答之间的偏好排序」，让模型在没有标准答案时按人类偏好取舍，包括拒绝有害请求。
先让学生回答，再按右键展开答案。
「让我们一步一步思考」为什么会提高准确率？
它和推理模型的关系是什么？
推理模型把这种行为训练成了模型的默认习惯，并用强化学习奖励正确的推理过程。
可以追问：那对简单问题也让它长思考，值不值？答案是不值——成本几十倍，收益接近零。
一个总参数 6000 亿、激活参数 370 亿的 MoE 模型，
运行时的算力消耗接近哪一种稠密模型？
总参数决定它「知道多少」，激活参数决定它「每次算多少」。
这两句对仗的话建议板书，学生看模型发布公告时会一直用到。
这一章留下什么
- 预训练最贵：在万亿 token 上预测下一个词，逼出语言与世界知识，得到一台强但不好用的续写机。
- 监督微调最短：几万条示范对话，教的是格式与风格，不是知识；质量远胜数量。
- 对齐最微妙：用偏好排序而非标准答案，在「有帮助、诚实、无害」的张力间取位——谁的偏好，是个真问题。
- 涌现：规模跨过门槛后出现新能力，其中最重要的是上下文学习——不训练，只给几个例子就会。
- 推理时算力是新的旋钮：让模型把思考写出来能显著提高可靠性；MoE 则让总参数与运行成本解耦。
继续读
正文与「深入」段落：ai4edu.sjtu.edu.cn/helloai/read/from-predictor-to-assistant/
下一章：第 10 章 它为什么会一本正经地胡说
留三到五分钟做本页的回顾，让学生用自己的话复述其中一条。