一层一层看出一只猫

激活函数只有一个要求：非线性。但选哪一个，影响训练能不能成功。

早期用的是 S 形函数（sigmoid）：把任何数压到 0 和 1 之间，形状像一条平滑的台阶。它有生物学上的直觉（放电率的饱和），但有一个致命缺点：输入很大或很小时曲线几乎是平的，梯度接近零。反向传播要把梯度一层层往回乘，几层之后梯度就消失了，深层网络训练不动。这是 1990 年代深度网络难以训练的主要原因之一。

2010 年前后，线性整流函数（ReLU）流行起来：负数归零，正数照原样输出。它简单到几乎不像一个函数，但正数区域的梯度恒为 1，不会消失；计算也极便宜。2012 年 AlexNet 用它，是那几个「小改进」之一。它的问题是负数区域梯度为零，一个神经元一旦「死」了就再也不会更新，于是有了各种变体：在负数区域留一个小斜率，或者用平滑的曲线过渡。

今天的大语言模型多用 GELU 或 SwiGLU 这类平滑版本，它们在零附近不是硬拐角而是圆滑的弯，实践中训练更稳。区别都是细节，共同点是：正数区域近似线性、负数区域压制。当你在论文里看到这些名字，知道它们只是「够了才亮」的不同实现就行。

理论上，只有一个隐藏层的网络，只要足够宽，就能逼近任何连续函数。那为什么要堆很多层？

答案是效率。一个宽而浅的网络要表达「猫脸」，需要为每一种可能的猫脸位置、大小、姿态各准备一个神经元，数量是天文数字。一个深网络则可以复用：第一层学到的「边缘探测器」可以被第二层的所有神经元共享，第二层学到的「耳朵」可以被第三层在任何位置使用。层级结构让网络用指数级更少的参数表达同样复杂的函数。

这与世界的结构相符：自然界的东西本来就是层级组合的，物体由部件组成，部件由形状组成，形状由边缘组成；句子由短语组成，短语由词组成。深度网络的归纳偏置恰好匹配这种组合性，这是它在图像和语言上都成功的一个深层原因。

但深也有代价：网络越深，梯度从输出往回传时越容易消失或爆炸，训练变得困难。2015 年的「残差连接」（让每一层可以直接把输入传给下一层）解决了这个问题，网络从几十层一下到了上千层。第八章里 Transformer 的每个模块都带着这个设计。

读技术文章时会反复遇到这几个词。

轮次（epoch）：把全部训练数据过一遍。训练通常要几十到几百轮。批次（batch）：每次更新权重用的一小撮样本，常见的是几十到几千个。学习率：梯度下降的步长，最重要的超参数。损失曲线：训练过程中损失随步数下降的曲线，看它是判断训练是否正常最直接的办法。验证准确率：在验证集上的表现，它停止上升的时候通常就该停止训练。参数量：网络里权重和偏置的总数，是衡量模型规模最常用的数字，从几万到几万亿。

看到「一个 70 亿参数的模型训练了 3 轮，批次大小 4096，学习率 3e-4」，你现在能读懂这句话的每个词了。

第五章讲过过拟合，深度网络因为参数极多，天然是过拟合的高发区。实践中有三个几乎每个网络都在用的技巧。

数据增强。把同一张猫的照片随机旋转几度、左右翻转、稍微裁剪、调一调亮度，就得到「新的」训练样本。网络于是见到了同一只猫的很多变化，学到的是「猫的本质」而不是「这张照片的像素」。本站的手写数字实验就用了旋转、平移、缩放，这是它在手写风格多样的输入上仍然准确的原因。

随机丢弃（Dropout）。训练时每一步随机把一部分神经元「关掉」，让网络不能依赖任何一个特定的神经元，必须让知识分散冗余地存在。测试时全部打开。它像是在训练成千上万个略有不同的子网络，再把它们平均。

批归一化。把每一层的输入重新调整到稳定的均值和方差。它原本是为了让训练更快更稳，顺带也起了一点正则化的作用。第八章 Transformer 里的层归一化是它的近亲。

这三个技巧有一个共同的哲学：往训练过程里加噪声，让网络学到的东西对噪声不敏感。稳健的知识是那些在扰动下仍然成立的知识，对人也一样。

「参数量」这个数字从几万到几万亿，跨了八个数量级。下面几个锚点能建立数量感。

两个提醒。参数量和能力不是简单的正比：ResNet 比 AlexNet 参数少却强得多，结构比数量重要。参数量和运行成本也不是正比：第九章的混合专家模型总参数很大，每次只激活一小部分。看到一个参数量数字，先问它是什么结构、是总参数还是激活参数。

用四个名字串起卷积网络之后视觉模型的演化。

LeNet（1998）：杨立昆的经典，五层，识别手写数字，在银行系统里读了大量支票。证明了「卷积 + 反向传播」可行，但当时没有数据和算力把它做大。

AlexNet（2012）：八层，六千万参数，两块 GPU，ImageNet 上把错误率砍掉十个百分点。深度学习浪潮从这里开始。它的结构今天看很粗糙，但它证明了「更深 + 更多数据 + GPU」这条路。

ResNet（2015）：残差连接让网络可以训练到一百五十二层，ImageNet 错误率降到 3.6%，首次低于人类。残差连接后来成为几乎所有深度架构的标配，包括 Transformer。

ViT（2020）：视觉 Transformer。把图片切成小方块当作「词」，用第八章的注意力机制处理，在足够大的数据上超过了卷积网络。它的意义在第十一章：视觉和语言从此可以用同一种架构，原生多模态成为可能。

这四步的共同模式是：每一步都不是全新的想法，而是让「更深、更大」这件事在工程上变得可行。

本章的手写数字实验里跑的那个网络，结构可以在一行里写完：

输入 1×28×28
 → 卷积 16 个 5×5 滤波器 → ReLU → 2×2 池化   → 16×14×14
 → 卷积 32 个 3×3 滤波器 → ReLU → 2×2 池化   → 32×7×7
 → 展平 1568 → 全连接 128 → ReLU → 全连接 10 → Softmax

约八万两千个参数，在一万张测试图片上准确率 99.6%，在你的浏览器里做一次识别不到十毫秒。

几个细节说明本章讲过的原理。第一层 16 个滤波器学到的是笔画的方向和端点，你在实验里能亲眼看到。池化把 28×28 缩到 14×14，让第二层的每个滤波器看到更大的范围。展平之后的全连接层把「哪些局部模式出现在哪里」组合成十个数字的证据，Softmax 把证据变成概率。

训练时用了数据增强：随机旋转、平移、缩放，这就是为什么它对你歪歪扭扭的手写也能认。它也会犯错：把一个写得太像 1 的 7 认成 1，因为训练集里的 7 大多带横。这是第五章的抽样偏差在最小尺度上的样子。整个模型只有九百多 KB，说明「深度学习」不一定意味着「巨大」。

手机相册认猫和门禁系统认你的脸，用的是同一类网络。但这两件事的社会含义完全不同。认错一只猫，无非搜索结果里混进一只狗；认错一张脸，可能是一个人被拒之门外，或者一个无辜者被当成嫌疑人。

人脸识别网络学到的不是「记住这张脸」，而是把每张脸变成一个几百维的向量，让同一个人的不同照片在这个空间里靠得近、不同人的照片离得远。这种表示对光线、角度、年龄有相当的鲁棒性，但它的错误率并不均匀：在训练数据里代表性不足的人群上，错误率可能高出几倍。这是第五章「抽样偏差」在真实世界里最严重的例子之一。

所以当一个 AI 产品涉及人而不是猫，有几个问题必须先问：数据是在什么人群上采集的？错误率按人群分开报告了吗？被识别的人知情并同意了吗？出错时有没有人工复核的通道？这些问题和网络的架构无关，但比架构重要得多。