它为什么会一本正经地胡说

除了幻觉，模型还有两条常被忽略的硬边界。

知识截止日期。预训练数据有一个收集截止的时间，此后的事模型一无所知，但它不一定知道自己不知道。问它一件截止日期之后发生的事，它可能基于旧知识编一个合理的回答。今天的产品通过联网搜索或检索来补这个缺口，但用的时候要清楚：模型「自己」的知识是有日期的。本书的「此刻」页专门标注了日期，就是这个原因。

上下文窗口。模型一次能看到的文本是有限的，从几千到上百万 token 不等。超出的部分它看不见。更微妙的是，即使在窗口之内，模型对中间部分的注意力也常弱于开头和结尾，长文档里埋在中间的一个关键条款可能被忽略。窗口也不是记忆：一次对话结束，模型什么都不记得，下一次对话从零开始，除非产品在外面为你保存了摘要。

这两条边界与幻觉合在一起，构成一个原则：模型的输出是它在窗口内所见文本与训练中所学倾向的函数。它没见到的，它不知道；它「知道」的，是统计倾向而不是查证的事实。

「模型的幻觉率是 5%」这个说法比听起来复杂。5% 的什么？在什么问题上？谁判定？

常见的测量方式有三类。事实问答基准：准备一批有标准答案的问题（历史、地理、科学），看模型答错的比例。这测的是「知识错误」，但问题的选择决定一切：常识题几乎不错，冷门题错得多。摘要忠实度：给模型一篇文章让它总结，再由人或另一个模型检查总结里有没有原文没说的内容。这测的是「过度推断」，与实际使用更接近。引用核验：让模型给出带引用的回答，逐条检查引用是否存在、是否支持该陈述。这测的是最危险的那类幻觉。

三类数字通常差别很大：同一个模型可能在常识问答上错误率 2%，在冷门引用上错误率 30%。所以看到一个幻觉率数字，先问它是哪一类、题目从哪来。本章前面那句「幻觉率正在下降」是真的，但下降最快的是第一类，第三类仍然是硬骨头。

还有一个方法论上的麻烦：用模型来评判模型。今天很多评测让一个强模型给另一个模型的回答打分，成本低、规模大，但评判者本身也会幻觉、也有偏好。人工核验仍然是金标准，只是贵。

第九章说对齐是塑造概率分布而不是装道德模块，一个直接后果是：分布可以被推回去。「越狱」指用精心构造的提示让模型做它被训练拒绝的事。

早期的越狱很朴素：「假装你是一个没有任何限制的 AI」「我们在写小说，主角需要解释怎样……」。模型被训练得能识别这些之后，越狱变得更精巧：用编码或另一种语言绕过、把有害请求拆成几个各自无害的步骤、在极长的上下文里逐步引导、利用模型「乐于助人」的倾向让它先答应一个小事。研究者甚至找到过对人毫无意义、却能可靠触发模型的字符串。

防御同样在升级：更多对抗性的训练数据、在输入输出两端加独立的检测模型、限制单次对话的长度和权限。但没有人宣称问题已解决，因为它的根源在本章开头：模型没有「理解」规则，它只是在一个被推向某个方向的分布上采样，而分布总有边角。

对使用者的含义有两条。一是不要把「模型拒绝了」当作安全保证，设计系统时要假设它可能被绕过，把真正的限制放在模型外面（权限、审核、规则）。二是当模型开始读取外部内容并执行行动，越狱就升级为提示注入，那是第十一章的主题。

回到开头的案例，用前面几章的机制逐步还原它。

律师的提示大意是：「请为这个案子（航空公司延误致人受伤的赔偿）找出支持我方观点的判例。」模型的上下文里现在有：一个法律文书的语境、一个具体的争议点、以及「找出判例」这个请求。

第八章说过，它接下来做的是续写最像会出现在这里的文字。在它的训练语料里，法律文书在这个位置出现的，是判例的引用：一个「原告诉被告」格式的案名，一个法院名，一个年份，一段判词摘要。这些形状它见过几十万次。而这个具体案子的真实判例呢？也许有，但每一个在语料里可能只出现过几次，甚至没出现过，它们在参数里留下的印记极弱。

于是模型做了它唯一会做的事：从「最像判例引用」的概率分布里采样。案名是两个常见的姓氏拼成的，法院是这类案件常出现的法院，年份在合理范围，判词是这类案件判词的典型措辞。每一个部件都是高概率的，组合起来是一个不存在的东西。它没有任何一步是在「查」。

第九章的对齐还加了一层：律师问的是「找出判例」，一个被训练成「有帮助」的模型倾向于给出判例，而不是回答「我无法核实这些判例是否存在」。如果提示里有一句「只引用你能确认存在的案例，否则说明无法确认」，结果可能不同；如果用的是带检索的法律数据库产品，结果几乎肯定不同。

这个解剖的教训不是「AI 不能用于法律」，而是：在需要精确事实的地方，模型必须被接到一个能查证的来源上，并且输出必须被会查证的人核对。

一个理想的模型应该是校准的：当它说「我有 80% 的把握」，它在这类回答上确实有八成是对的。研究发现，预训练后的基础模型校准得出奇地好，它对自己输出的概率估计和实际正确率相当一致。但经过对齐之后，校准常常变差：模型学会了用更肯定的语气说话，因为标注者偏爱肯定的回答。

这是一个值得记住的讽刺：让模型「更好用」的那一步，同时让它「更不诚实地自信」。所以第一章那句话在这里有了技术依据：语气的自信程度和内容的可靠程度之间没有关系，至少在对齐之后的模型上没有。

能不能让模型把内部的不确定性表达出来？这是当前研究的活跃方向。一些方法让模型在回答时同时输出置信度并用它来训练；一些方法在多次采样中看答案的一致性。目前的实际建议是：把模型的语气当作噪声，把它的一致性当作信号。

检索增强生成听起来是一条直线，实际每一环都会出问题。

切段。文档被切成几百字的段落。切太长，检索出来的段落里大部分内容与问题无关，稀释了模型的注意力；切太短，一个条款被切成两半，前半段说「允许」，后半段说「除非」。常见的补救是重叠切分、或按文档的自然结构（标题、条款）切。

向量化。用什么模型把段落变成向量，决定了「相似」的含义。通用嵌入模型可能不理解专业术语：「不良反应」和「副作用」在医学文档里是一回事，通用模型未必知道。领域内微调过的嵌入模型显著更好。

检索。取前几段？取太少可能漏掉关键段落，取太多又回到「稀释」。关键词检索和向量检索各有盲区，实践中常两者并用再重排。

拼装。检索出的段落怎样放进提示词：顺序、格式、是否标注来源、是否告诉模型「材料里没有就说没有」。这一步的措辞对结果影响之大常被低估。

生成。模型仍可能忽略材料、误读材料、或在材料之外补充自己的「知识」。要求逐句标注来源，是最有效的约束。

一个好用的排查顺序：先看检索出来的段落里有没有答案。有而模型答错，问题在拼装和生成；没有，问题在前三环。大多数「AI 问答不准」的投诉，根源在前三环，而不是模型。