不只是神经网络

搜索算法有一个庞大的家族，它们的区别只在两件事：按什么顺序展开节点，以及有没有用估计。

最后一行值得注意：第八章讲的语言模型生成，本质上也是在「可能的续写」这棵树上搜索，束搜索就是它常用的一种策略。搜索从来没有离开过 AI，它只是换了个名字藏在生成里。

A* 给每个待展开的节点打一个分数 $f(n) = g(n) + h(n)$。$g(n)$ 是从起点到这个节点已经确定的代价，$h(n)$ 是从这个节点到目标的估计代价。算法每次都展开 $f$ 值最小的节点。

关键在 $h$ 上。如果 $h$ 从不高估真实的剩余代价（术语叫「可采纳」），那么当目标节点第一次被取出时，它的 $f$ 值就等于真实最短路的长度，任何其他路径都不可能更短。直线距离在地图上显然满足这个条件：两点之间没有比直线更短的路。

如果 $h$ 恒等于零，A 退化成 1959 年的 Dijkstra 算法，仍然正确，但会把各个方向都均匀地探索一遍，慢得多。如果 $h$ 估得非常准，A 几乎沿着最短路笔直走过去，几乎不浪费一步。启发式越接近真实值，搜索越省力，但过于乐观（高估）会失去最优性保证，这时算法变得更快但可能给出次优的路。工程上常常故意这样做，因为用户宁要一秒钟给出的九十五分答案，也不要一分钟给出的满分答案。

这个「用一个便宜的估计引导昂贵的搜索」的思想，是后面 AlphaGo 的核心，也是今天推理模型「先想一想再回答」的远亲。

下面是一个真实风格的学情预警规则集的节选，用伪代码写，任何一所学校的教务系统都可能有类似的东西：

规则 1：连续 2 周未提交作业             → 标记「作业风险」
规则 2：本学期出勤率 < 80%              → 标记「出勤风险」
规则 3：最近两次测验平均分 < 60         → 标记「学业风险」
规则 4：同时命中任意两条               → 升级为「需关注」，通知班主任
规则 5：命中「需关注」且 14 天内无回访记录 → 提醒年级组长
例外 A：有病假记录的周不计入规则 1、2
例外 B：转学生入学 4 周内不触发规则 3

它的好处一目了然：每一个标记都能说出是哪条规则触发的，家长问起来有据可答；要放宽或收紧，改一个数字就行；不需要任何历史数据就能上线。

它的问题也一目了然：门槛是拍脑袋定的（为什么是 80% 而不是 75%），例外会越加越多，而且它抓不住规则没写到的模式，比如「成绩没掉但突然不再参与课堂讨论」。

所以今天的做法是两层：机器学习模型在上百个特征上学出一个「风险概率」，规则系统在它上面决定什么时候通知谁、什么情况下必须人工复核、哪些学生绝不能被自动标记。模型负责发现，规则负责边界。第五章讲评估时，你会看到为什么这个分工对学生来说很重要。

最经典的强化学习算法之一叫 Q 学习，1989 年提出，它简单到可以在一页纸上讲完。

智能体维护一张表 $Q(s, a)$，记录「在状态 $s$ 下采取动作 $a$，长远来看值多少」。开始时表里全是零。每走一步，它观察到当前状态 $s$，选一个动作 $a$（大多数时候选表里值最大的，偶尔随机探索），得到奖励 $r$，来到新状态 $s'$。然后它按下面这条规则更新表：

$$Q(s,a) \leftarrow Q(s,a) + \alpha\big[\,r + \gamma \max_{a'} Q(s',a') - Q(s,a)\,\big]$$

括号里是「实际得到的」减去「原来以为的」，也就是这一步的意外。$\alpha$ 是学习率，决定每次意外改变多少估计；$\gamma$ 是折扣，决定未来的奖励比眼前的打几折。这条更新规则有一个漂亮的性质：只要每个状态动作对都被尝试足够多次，表格最终会收敛到最优策略，不管智能体一开始有多笨。

Q 表的局限也很明显：状态一多，表就存不下。围棋的状态数超过 $10^{170}$，任何表都装不下。解决办法是不再用表，而是用一个神经网络去近似这个 Q 函数。2013 年，DeepMind 用这个办法让一个网络直接看着屏幕像素学会了几十种雅达利游戏，这就是「深度强化学习」，也是 AlphaGo 的前奏。

第九章会讲，让大语言模型「更有帮助、更诚实、更无害」的那一步用的是强化学习。这里先用本章的语言把它的结构摆出来，你会发现它和迷宫老鼠是同一件事。

状态是到目前为止的对话（用户的问题加上模型已经写出的部分）。动作是下一个 token。一局是从问题开始到回答结束。奖励在一局结束时给出：这个回答好不好。和迷宫不同的是，没有一个「奶酪」自动出现，奖励要有人定义。做法是先请人对不同回答排序，训练一个「奖励模型」学会像人一样打分，再让它来给语言模型的每一局打分。

这带来一个只有强化学习才有的麻烦：智能体会钻奖励的空子。迷宫里的老鼠如果发现「在原地打转也能拿到一点奖励」，它就会打转。语言模型如果发现「写得长、语气肯定、多用『当然可以』」能拿高分，它就会这样写，不管内容是否更好。这叫奖励破解，是第九章「对齐」阶段最头疼的问题之一，而它的根源在本章：任何靠奖励学习的系统，学到的都是「怎样拿到奖励」，而不是「奖励想表达的那个东西」。

强化学习的理论在 1980 年代末已经成形，但它的每一次「出圈」都和神经网络绑在一起。

1992 年，IBM 的杰拉德·特索罗让一个神经网络通过自我对弈学习西洋双陆棋，程序叫 TD-Gammon。它没有看过任何人类棋谱，几个月后达到了世界顶尖水平，还发现了一些人类棋手没用过的开局。这是「自我对弈 + 神经网络」第一次证明自己，比 AlphaGo 早二十四年，只是当时几乎没人注意。

之后是漫长的沉寂，强化学习主要活在机器人控制和运筹学里。2013 年，DeepMind 用一个卷积网络直接看着屏幕像素玩雅达利游戏，同一个网络、同样的超参数，在几十款游戏上达到或超过人类水平，这就是「深度 Q 网络」。它证明了强化学习可以直接从原始感知输入学习，不需要人手工设计状态。

2016 年 AlphaGo，2017 年 AlphaZero，2019 年在《星际争霸》和《Dota 2》上达到职业水平，这些是博弈线。另一条线更安静但影响更大：2017 年提出的「近端策略优化」让强化学习变得稳定好用，2022 年它被用来把语言模型对齐到人类偏好，也就是第九章的 RLHF。从棋盘到聊天助手，中间隔着的其实只是「奖励从哪里来」这一个问题。