它为什么会一本正经地胡说
幻觉不是故障，而是「预测下一个词」这种工作方式的必然产物。这一章讲它从哪来、长什么样、能怎么办，以及一个诚实的能力边界。
这一讲对应《Hello, AI》第 10 章《它为什么会一本正经地胡说》。主线约 8 分钟的阅读量，展开讲一节课。
本章要回答的问题：一个能写出流畅论文的系统，为什么会编造不存在的参考文献？我们该怎样与这个特性共处？
六个判例，一个都不存在
他向法庭提交了一份由聊天助手协助撰写的诉状，其中引用了六个判例。
法官查证后发现：案名、编号、判词、法官姓名，全部是模型编的——而且编得像模像样。
律师被处罚，这件事成了一个经典案例。
这可能是全书最实用的一章——
因为你和 AI 打交道的每一天，
都在和幻觉打交道。
可以先问学生：你们有没有被 AI 编的东西骗过？基本每个班都能举出例子。让他们讲一个，再进入正题。
一个能写出流畅论文的系统，
为什么会编造不存在的参考文献？
我们该怎样与这个特性共处？
注意用词：特性，不是故障。这是本章的基调。
根源：它优化的是「像」，不是「真」
回到第七章的定义：语言模型是一个概率分布。它在预训练中被优化的目标是「让真实文本的概率最大」——也就是让自己的输出尽可能像训练语料里会出现的文字。
撒谎需要知道真相
当模型写到「关于这个问题，可以参考」——
下一个最像的东西是一个论文标题、几个作者名、一个年份和一个期刊。
它见过几百万篇这样的引文，知道引文长什么样，
于是它生成了一个完美符合引文格式的、从未存在过的东西。
它只是在续写一个最合理的形状。
它的知识分散在几千亿个参数的统计倾向里。一个事实被见过的次数越多，被正确续写出来的概率越高；见得少的、冷门的、需要精确的（一个具体数字、一个日期、一个人名与头衔的对应），就容易在概率的迷雾里被「最像的东西」替代。
第八章说过：模型没有计划，每一步只选一个词。这一页是那句话的直接后果。
冷门话题上更多，
精确细节处更多，
而且语气始终自信。
因为自信的语气本身，就是训练语料里最常见的形状。
第一章那句「语气的自信程度和内容的可靠程度之间没有关系」，在这里第一次拿到了技术依据。稍后讲校准时还会再强化一次。
四种常见的幻觉
识别它们的形态，是防御的第一步。
四类
编造事实
不存在的书、论文、判例、统计数字、名人语录。
最危险，因为最难一眼看出。
张冠李戴
事实存在，但被安到了错误的对象上：把甲的成果说成乙的，把 2019 年的事说成 2021 年，把一个机构的政策说成另一个机构的。
过度推断
从给定的材料里「读出」材料没有说的东西。让它总结报告，它加上了报告里没有的结论；让它分析对话，它推测出了没有的动机。
顺从性幻觉
你的问题里带着一个错误的前提，模型顺着前提往下答。
「为什么明朝迁都南京之后经济衰退？」
第九章的对齐让模型倾向「有帮助」，而「有帮助」在标注者眼里常常等于「顺着问题答」。
现场演示：随手编一个带错误前提的问题问助手，多半能当场复现第四类。这是全课最有说服力的演示之一。
知识截止日期，与上下文窗口
它不一定知道自己不知道
预训练数据有一个收集截止的时间，此后的事模型一无所知。问它一件截止之后的事，它可能基于旧知识编一个合理的回答。
今天的产品通过联网搜索或检索来补这个缺口，但用的时候要清楚：模型「自己」的知识是有日期的。本书的「此刻」页专门标注日期，就是这个原因。
超出的部分它看不见
从几千到上百万 token 不等。更微妙的是：即使在窗口之内，模型对中间部分的注意力也常弱于开头和结尾——长文档里埋在中间的一个关键条款可能被忽略。
窗口也不是记忆：一次对话结束，模型什么都不记得，下一次从零开始，除非产品在外面为你保存了摘要。
两条边界与幻觉合起来，构成一个原则：模型的输出是「它在窗口内所见文本」与「训练中所学倾向」的函数。它没见到的，它不知道；它「知道」的，是统计倾向而不是查证的事实。
这个原则值得板书。第四道自测题（80 页合同）就是它的应用。
那六个判例是怎么被编出来的
- 上下文里有什么一个法律文书的语境、一个具体的争议点（航空公司延误致人受伤的赔偿）、以及「找出判例」这个请求。
- 它续写最像会出现在这里的文字在语料里，法律文书在这个位置出现的是判例引用：「原告诉被告」格式的案名、一个法院名、一个年份、一段判词摘要。这些形状它见过几十万次。
- 真实判例呢？也许有，但每一个在语料里可能只出现过几次甚至没出现过，在参数里留下的印记极弱。
- 于是它做了唯一会做的事从「最像判例引用」的分布里采样：常见姓氏拼成案名，这类案件常出现的法院，合理范围内的年份，典型措辞的判词。每一个部件都是高概率的，组合起来是一个不存在的东西。
第九章的对齐还加了一层：律师问的是「找出判例」，一个被训练成「有帮助」的模型倾向于给出判例，而不是回答「我无法核实这些判例是否存在」。
如果提示里有一句「只引用你能确认存在的案例，否则说明无法确认」，结果可能不同；如果用的是带检索的法律数据库产品，结果几乎肯定不同。
教训不是「AI 不能用于法律」，而是：在需要精确事实的地方，模型必须被接到一个能查证的来源上，并且输出必须被会查证的人核对。
这一页把前面九章的机制全用上了：概率分布、采样、对齐。是全书最好的综合复习题之一。
「幻觉率 5%」——5% 的什么？在什么问题上？谁判定？
事实问答基准
准备一批有标准答案的问题，看答错的比例。测的是知识错误。
问题的选择决定一切：常识题几乎不错，冷门题错得多。
摘要忠实度
让它总结一篇文章，再检查总结里有没有原文没说的内容。测的是过度推断，与实际使用更接近。
引用核验
逐条检查引用是否存在、是否支持该陈述。测的是最危险的那一类。
同一个模型可能在常识问答上错 2%，在冷门引用上错 30%。看到一个幻觉率数字，先问它是哪一类、题目从哪来。
「幻觉率正在下降」是真的，但下降最快的是第一类，第三类仍然是硬骨头。
还有一个方法论麻烦：用模型来评判模型。成本低、规模大，但评判者本身也会幻觉、也有偏好。人工核验仍是金标准，只是贵。
这一页也是第五章「指标不是技术选择」的回声：你测什么，就会得到什么样的结论。
五种应对
幻觉不会被消灭，但可以被大幅压制。以下五种办法从技术到习惯，由重到轻。
把「续写的对象」从模糊印象换成眼前的文本
回答前，先用第七章讲的向量相似度从一个可信的资料库里找出相关段落，放进上下文，让模型「基于以下材料回答」。
模型仍然在续写，但续写的对象从「训练中的模糊印象」变成了「眼前的具体文本」，编造的空间小得多。
今天几乎所有企业级的 AI 问答都是这样做的。「把 AI 接到自己的知识库上」，主要就是这件事。
第七章讲向量数据库时给过排查顺序，这里是它的完整版。
一个图书管理员的比喻
这个比喻对非技术背景的听众特别好用，做汇报时可以直接借用。
听起来是一条直线，实际每一环都会出问题
| 环节 | 典型的坏法 | 怎么办 |
|---|---|---|
| 切段 | 切太长，无关内容稀释注意力；切太短，一个条款被切成两半——前半说「允许」，后半说「除非」 | 重叠切分，或按文档的自然结构（标题、条款）切 |
| 向量化 | 通用嵌入模型不理解专业术语：「不良反应」和「副作用」在医学文档里是一回事，它未必知道 | 用领域内微调过的嵌入模型 |
| 检索 | 取太少漏掉关键段落，取太多又回到「稀释」；关键词检索和向量检索各有盲区 | 两者并用，再重排 |
| 拼装 | 顺序、格式、是否标注来源、是否说「材料里没有就说没有」——这一步的措辞影响之大常被低估 | 把约束写进提示词 |
| 生成 | 模型仍可能忽略材料、误读材料，或在材料之外补充自己的「知识」 | 要求逐句标注来源 |
好用的排查顺序：先看检索出来的段落里有没有答案。有而模型答错 → 问题在拼装和生成；没有 → 问题在前三环。
大多数「AI 问答不准」的投诉，根源在前三环，而不是模型。
这一页对做项目的学生极其实用，值得让他们拍照。
另外四种
要求引用
让模型对每个陈述标出来源，来源必须是上下文里的材料或可访问的链接。
不能保证正确，但它把「你怎么知道的」摆到了台面上，编造的引文更容易被发现。
允许它说不知道
在提示里明确「如果材料里没有，请说没有」。第九章讲过对齐让模型偏向顺从，一句明确的授权能显著减少硬答的倾向。
推理模型在这一点上通常更好，因为它有机会在思考中发现自己不确定。
交叉验证
换个问法再问一次，或者问两个不同的模型；也可以让模型自己给刚才的回答挑错。
编造的细节往往在第二次问时变了样，而真实的事实是稳定的。不是万能，但成本几乎为零。
人工把关
对任何有后果的输出，人核对关键事实。最老套，也最不可替代。
用 AI 的正确姿势不是「让它替我想」，而是「让它替我起草，我来负责」。
第十四章会把第五条展开成一整套工作方法。
一个值得记住的讽刺
一个理想的模型应该是校准的：当它说「我有 80% 的把握」，它在这类回答上确实有八成是对的。
校准得出奇地好
它对自己输出的概率估计和实际正确率相当一致。
校准常常变差
模型学会了用更肯定的语气说话，因为标注者偏爱肯定的回答。
能不能让模型把内部的不确定性表达出来？这是当前研究的活跃方向：让模型同时输出置信度并用它来训练；或在多次采样中看答案的一致性。
目前的实际建议：
把模型的语气当作噪声，
把它的一致性当作信号。
这句「语气是噪声，一致性是信号」建议板书。它是本章最可操作的一条。
分布可以被推回去
第九章说对齐是塑造概率分布而不是装道德模块。直接后果：「越狱」——用精心构造的提示让模型做它被训练拒绝的事。
- 早期很朴素「假装你是一个没有任何限制的 AI」「我们在写小说，主角需要解释怎样……」
- 后来更精巧用编码或另一种语言绕过；把有害请求拆成几个各自无害的步骤；在极长上下文里逐步引导；利用模型「乐于助人」的倾向让它先答应一件小事。
研究者甚至找到过对人毫无意义、却能可靠触发模型的字符串。
更多对抗性训练数据、在输入输出两端加独立的检测模型、限制单次对话的长度和权限。
根源在本章开头：模型没有「理解」规则，它只是在一个被推向某个方向的分布上采样，而分布总有边角。
两条实用结论：
一、不要把「模型拒绝了」当作安全保证。设计系统时假设它可能被绕过，把真正的限制放在模型外面（权限、审核、规则）。
二、当模型开始读取外部内容并执行行动，越狱就升级为提示注入——那是第十一章的主题。
「把真正的限制放在模型外面」是一条工程铁律。第十一、十二章都会重复它。
边界：它不知道自己在做什么
幻觉是最显眼的问题，但更深的一层是：我们并不真正知道模型内部在发生什么。
答对了，我们也不知道它是「推理」还是「记住」
一个几千亿参数的网络不是按人可读的规则运行的——第四章讲过，这是机器学习范式本身的代价。当它答错，我们也很难指出是哪一步出了问题。
围绕这个问题有一个专门的研究方向叫可解释性，进展显著但远未解决。
- 安全既然不能读懂它的规则，就不能保证它在没测试过的输入上一定安全。当模型开始读取网页、邮件和文件，这个问题从「有人骗它」升级为「文件里藏着骗它的指令」——提示注入，智能体时代最重要的安全问题。
- 责任一个不能解释自己决定的系统，不能独自承担决定的责任。第一章说 AI 不承担责任是社会的选择——这里补上技术的理由：它也确实承担不了。
第一章和第十章在这里合流。学生如果记得第一章那句「AI 不承担责任」，这一页会让他们觉得整本书是一个整体。
一个诚实的能力边界
比「AI 很强」或「AI 不可信」都更有用的判断框架。
把每一件事放进对的那一档
有大量先例、答案可被检查、错误代价低或可逆
翻译、润色、起草、总结、代码补全、头脑风暴、解释一个常见概念。
在这些事上，它已经是一个比大多数人更快、更耐心的同事。
需要精确事实、冷门领域、你自己也无法验证的领域、错误不可逆
数字、日期、引文、人名。
在这些事上，它是一个才华横溢但会随口编造的实习生——你要核对它交上来的每一个数字。
涉及一个具体的人的命运
法律、医疗、财务的最终决定，以及安全。
这些事需要一个能被追问、能承担后果的主体。那不是它。
让学生现场把自己最近用 AI 做的三件事，各自归到一档里。这个练习几乎总能引出好讨论。
幻觉不是故障，
是「预测下一个词」
这种工作方式的必然产物。
它不会被消灭，但可以被大幅压制：
接到可查证的来源上，要求引用，允许它说不知道，
交叉验证，最后由会查证的人核对。
「必然产物」四个字要说清楚：不是这一代模型不够好，而是这个范式如此。
用「模型优化的是像不是真」解释：为什么它编造的参考文献格式总是完美的？
检索增强生成为什么能减少幻觉？它能完全消除幻觉吗？
二、它把可信材料放进上下文，让模型续写的依据从模糊的训练印象变成眼前的具体文本，编造空间大大缩小。但模型仍可能误读材料、过度推断，或在材料没覆盖时回退到编造——所以不能完全消除。
先让学生回答，再按右键展开答案。
「对齐之后模型的校准变差了」，这句话是什么意思？
对使用者有什么提醒？
提醒：不要用语气判断可靠性。
可以追问：那用什么判断？答案是一致性、可核查的引用，以及你自己的领域常识。
你让 AI 总结一份 80 页的合同并问「有没有违约金条款」，它说没有。
你该怎么做？
做法：分段再问、让它引用原文页码、换个问法交叉验证，最后由人核对关键条款。
这道题把本章五种应对全用上了。可以让学生逐条对应回去。
这一章留下什么
- 幻觉的根源是目标：模型被优化成「像真实文本」，这个目标里没有「真」。它不是撒谎，撒谎需要知道真相。
- 四种形态：编造事实、张冠李戴、过度推断、顺从性幻觉——第四种由「有帮助」的对齐倾向放大。
- 两条硬边界：知识截止日期，和上下文窗口（它也不是记忆）。它没见到的，它不知道。
- 五种应对由重到轻：检索增强、要求引用、允许它说不知道、交叉验证、人工把关。
- 语气是噪声，一致性是信号；把每件事放进「可靠 / 需看管 / 不该独自决定」三档，是最实用的判断框架。
继续读
正文与「深入」段落：ai4edu.sjtu.edu.cn/helloai/read/hallucination/
下一章：第 11 章 模型长出了眼睛和手
留三到五分钟做本页的回顾，让学生用自己的话复述其中一条。