规则不是写出来的，是学出来的

「把一笔订单变成一行数字」听起来简单，实际做起来全是判断。下面是一个定价模型可能用的特征，以及每一个背后的考虑。

三个观察。一，很多特征是对原始数据的「翻译」，比如把时间戳拆成周期；这一步做得好坏，对传统机器学习模型影响巨大。二，几个特征带有时间陷阱：必须用「下单那一刻能知道的信息」，用事后才知道的信息就是第五章的标签泄漏。三，最后一个特征提醒我们，模型再好，也需要人维护它看不到的世界。深度学习把这张表里的很多手工判断交给了网络，但「用什么时刻的数据」这类问题，它交不出去。

假设模型只有两个旋钮 $w_1$、$w_2$，那么损失 $L(w_1, w_2)$ 就是一张二维地形图，横纵坐标是两个旋钮的位置，高度是损失。学习的目标是找到地形的最低点。

梯度就是在当前位置「最陡上坡」的方向，写作 $\nabla L = (\partial L/\partial w_1,\ \partial L/\partial w_2)$。梯度下降的更新规则是：

$$w \leftarrow w - \eta \nabla L(w)$$

减号表示往下坡走，$\eta$ 是步长，术语叫学习率。步长太小，下山慢得像蜗牛；步长太大，会在山谷两侧来回跳，甚至越跳越高。调学习率是训练里最常见的手工活。

真实模型有几百万到几千亿个旋钮，地形是几千亿维的，没有人能画出来，但算法完全一样：算梯度，走一小步，重复。有两个实践细节值得知道。一是不需要用全部数据算梯度，随机抽一小批样本估计一下就够了，这叫随机梯度下降，它不但省算力，抽样带来的噪声还能帮助模型跳出一些浅坑。二是对神经网络来说，几十亿个旋钮的梯度可以用一种叫反向传播的方法一次性高效算出来，第六章讲。

用最小的例子把「学习」从头算一遍。假设我们只用距离预测车费，模型是一条直线：$\hat{y} = w \cdot x + b$。两个旋钮，$w$ 是每公里单价，$b$ 是起步价。手里有三笔订单：

随便起一个初始值：$w = 1$，$b = 0$。三笔预测分别是 2、5、10，和真实值差得很远。损失用均方误差：

$$L = \frac{1}{3}\big[(2-14)^2 + (5-23)^2 + (10-38)^2\big] = \frac{144 + 324 + 784}{3} \approx 417$$

算梯度。对 $w$ 求偏导：$\partial L/\partial w = \frac{2}{3}\sum (\hat{y}_i - y_i)\,x_i = \frac{2}{3}[(-12)(2) + (-18)(5) + (-28)(10)] = \frac{2}{3}(-394) \approx -263$。对 $b$：$\partial L/\partial b = \frac{2}{3}\sum(\hat{y}_i - y_i) = \frac{2}{3}(-58) \approx -39$。两个梯度都是负的，意思是「把旋钮往大调，损失会下降」。

取学习率 $\eta = 0.01$，更新：$w \leftarrow 1 - 0.01 \times (-263) = 3.63$，$b \leftarrow 0 - 0.01 \times (-39) = 0.39$。再算一遍损失，已经降到 50 左右。重复几百次，$w$ 会收敛到 3 附近、$b$ 到 8 附近：每公里三元，起步八元。没有人告诉模型这两个数字，它们是从三笔订单里「学」出来的。

真实模型和这个例子的区别只有规模：旋钮从两个变成几千亿个，样本从三笔变成几万亿个 token，其余的每一步都一样。

损失函数把「错了多少」变成数字，但「错」可以有不同的算法，选择取决于任务和你对错误的态度。

均方误差：预测与真实之差的平方的平均。它对大错误惩罚极重（差 10 元的惩罚是差 1 元的一百倍），适合「大错误特别不能接受」的回归任务，也是数学上最好处理的一种。缺点是对异常值敏感：一笔录入错误的天价订单会把整个模型拉偏。

绝对误差：差的绝对值的平均。对每一元的错误一视同仁，对异常值稳健。当数据里有脏值、或者你关心的是「典型情况下差多少」时，它更合适。

交叉熵：分类任务的标准损失。模型输出的是每个类别的概率，交叉熵衡量「真实类别被分到的概率有多小」：真实类别概率 0.9 时损失很小，0.01 时损失很大。它的一个重要性质是惩罚「自信地错」远超「犹豫地错」，这与第十章讲的校准直接相关。大语言模型预训练用的就是它：每一步预测下一个 token 的交叉熵。

选损失函数时的一条经验：先问「什么样的错误最贵」，再选那个对这种错误惩罚最重的函数。这一步是把业务判断写进数学的地方，值得由懂业务的人参与。

本章讲的是梯度下降，因为它通向神经网络和大模型。但在表格数据（订单、病历、学生记录）上，至今用得最多的常常不是神经网络，而是决策树的家族。

决策树学出来的东西是一连串问题：「距离大于 10 公里吗？是的话，是高峰期吗？是的话，价格约 45 元。」它的构造不用梯度，而是贪心地选择每一步「最能把数据分开」的问题。它的优点是人能读懂，缺点是容易过拟合，一棵树会长到把每个样本都单独分出来。

随机森林训练几百棵树，每棵只看一部分数据和一部分特征，最后投票。单棵树的过拟合被平均掉了，准确率大幅提高。梯度提升树则一棵接一棵地训练，每棵专门去修正前面所有树的错误，它的名字里有「梯度」，因为「该往哪个方向修正」是用梯度算的，但树本身仍然不是梯度下降训练的。

为什么在表格数据上树常常打败神经网络？一个解释是表格特征各有各的尺度和含义，树天然能处理「距离」和「是否节假日」这种性质完全不同的特征，而神经网络需要仔细的预处理。另一个原因是数据量：几万行的表格不足以喂饱一个深度网络。所以第四章的一条实用建议是：在表格数据上，先跑一个梯度提升树作为基线，再考虑别的。

监督学习的每一个标签背后都是人的时间。ImageNet 的一千四百万张图片是几年间几万名众包工人标出来的；自动驾驶公司雇了大量标注员逐帧框出行人和车辆；一个能读病理切片的模型，需要病理医生逐张标注肿瘤边界。标签不但贵，还会带进标注者的偏见和错误。

于是有了一系列绕开它的办法。半监督学习用少量标注数据加大量未标注数据，先用标注部分训练一个粗模型，再让它给未标注部分打「伪标签」。主动学习让模型自己挑最不确定的样本请人标注，把人的时间用在刀刃上。迁移学习在一个大数据集上训练好的模型，换个任务只需少量新数据微调，这是深度学习时代的默认做法。自监督学习则彻底不要人工标签，它的巨大成功是大语言模型能出现的直接原因。

对使用者来说，这一段的实用结论是：当有人说「我们的模型在某任务上准确率 98%」，值得追问的是「标签是谁标的、怎么标的」。模型学到的上限，是标签的质量。

把七步流程套在一个具体的教育场景上走一遍，看每一步会撞到什么。假设一所高中想在期中前找出「期末可能不及格」的学生，提前干预。

1. 定义任务。预测什么？「期末不及格」是一个清楚的标签。但先问：预测出来之后做什么？如果是让班主任多谈一次话，误报的代价很低；如果是把学生分到「补差班」，误报的代价是伤害一个原本正常的孩子。这个答案决定了后面的一切。

2. 收集数据。过去三年的出勤、作业提交、测验成绩、平台登录记录，以及期末成绩。立刻遇到的问题：三年前的教材和考试方式变了；去年这个年级换了老师；平台是前年才上线的，更早的登录记录是空的。

3. 构造特征。「作业提交率」「最近三次测验的趋势」「距上次登录的天数」。陷阱：「是否参加了补习班」这个特征只在期末后由老师补录，用它就是标签泄漏。

4. 划分数据。按学年切：前两年训练，最近一年测试。不能随机打乱，否则模型会「偷看」同一学年的同学。

5. 训练。一个梯度提升树，二十分钟。这是整个项目最轻松的一步。

6. 评估。准确率 91%。但不及格率只有 12%，所以要看召回率：模型找出了多少真正不及格的学生？答案是 55%。也就是说它漏掉了近一半，而它标出的学生里有三成实际上及格了。这个模型能用，但要当作提示而不是判决。

7. 部署与监控。上线后一个学期，召回率降到 40%。原因：学校推行了新的作业平台，「提交率」这个特征的含义变了。回到第二步。

这个例子里没有任何一步是技术难题，每一步都是判断。这就是本章开头那句话的另一面：机器学习把规则交给了机器，却把更多的判断留给了人。