第 2 章七十年，三次浪潮

如果你在 1965 年问一位 AI 研究者，机器什么时候能做人能做的一切，得到的回答很可能是「二十年内」。1985 年再问，回答仍然是「二十年内」。2005 年问，很多人会告诉你 AI 已经是个不体面的词，研究者们改口说自己做的是「统计学习」或「数据挖掘」。到了 2025 年，这个问题重新变得严肃，而且答案的分歧比任何时候都大。

这一章讲这条起伏的曲线。目的不是让你记住年份，而是让你看到一个反复出现的模式：每一次浪潮都由一个真正的想法点燃，每一次退潮都因为撞上了同一堵墙，而每一次翻盘靠的都不只是想法本身。理解这个模式，你就能对当下的热潮有一个更稳的判断。

七十年，五次浪潮，两次寒冬。曲线画的是投入与期待，不是能力。

第一次浪潮：把智能写成规则（1956–1974）

1956 年夏天，十位研究者在达特茅斯学院聚了两个月，给这个领域起了名字。他们的信心来自一个诱人的类比：数学证明是智能活动的典型，而数学证明可以被写成符号操作的规则，那么智能也可以。

最初的十年成果惊人。程序能证明《数学原理》里的定理，能解代数应用题，能在受限的世界里理解英语句子并移动积木。研究者们看到的是一条笔直的路：把更多的知识写成规则，机器就会越来越聪明。政府和军方投入了大量经费。

墙在 1970 年代初出现。第一是组合爆炸：在玩具问题上有效的搜索方法，一旦面对真实规模的问题，需要考虑的可能性数量呈指数增长，再快的计算机也算不完。第二是常识问题：让机器理解「把杯子放在桌上」这句话，需要它知道杯子有底、桌子是平的、放上去不会掉下来，而这些没有人写在任何地方。1973 年英国的一份评估报告断言 AI 未能实现任何承诺，经费被大幅削减。第一次寒冬来了。

今天统治 AI 的神经网络，在第一次浪潮里其实已经出现了。1958 年，弗兰克·罗森布拉特造出了「感知机」，一个能从例子里学会区分简单图形的电子装置，《纽约时报》报道说它是「能走路、说话、看东西、写字、自我复制并意识到自身存在的电子计算机的雏形」。

1969 年，马文·明斯基和西摩·帕珀特出版了《感知机》一书，用数学证明单层感知机连「异或」这么简单的逻辑关系都学不会。这个证明本身没错，但它的影响远超其范围：经费机构把它读成「神经网络这条路走不通」，连接主义研究几乎停摆了十五年。

事后看，这本书漏掉的关键是「多层」。多层网络可以学会异或，也可以学会几乎任何函数，但当时没有人知道怎样训练多层网络。这个问题要到 1986 年反向传播算法被广泛传播才解决，而反向传播真正发挥威力，又要等到 2012 年算力和数据到位。一个正确的想法可以因为缺少配套条件而被冷藏几十年，这是 AI 历史里反复出现的情节。

第二次浪潮：专家系统的商业化（1980–1987）

第二次浪潮的想法比第一次谦虚：不追求通用智能，而是把某个狭窄领域里专家的知识写成规则，让机器在那个领域里当顾问。1970 年代的 MYCIN 用几百条规则诊断血液感染，准确率与专科医生相当。1980 年，数字设备公司用一个叫 XCON 的系统配置计算机订单，据说每年省下几千万美元。

一时间，「知识工程师」成了热门职业，日本启动了雄心勃勃的「第五代计算机」计划，美国和欧洲跟进。专家系统的商业市场在 1980 年代中期达到十亿美元量级。

这一次的墙叫作知识获取瓶颈。要把专家的知识变成规则，需要知识工程师一次次访谈专家，把「凭感觉」的判断翻译成 if-then。这个过程极慢，写出来的规则一多就互相矛盾，而且世界一变，规则就得重写。维护成本吞掉了收益。到 1987 年，专用的 AI 硬件市场崩盘，第二次寒冬开始，这一次比第一次更冷，「人工智能」这个词本身成了融资时要避开的字眼。

专家系统的失败不是执行不力，而是思路本身有个上限。哲学家把它叫作「多义性问题」或「框架问题」：任何一条规则都有例外，而例外又有例外。

「鸟会飞」是一条规则。企鹅不会飞，所以要加一条例外。受伤的鸟不会飞，再加一条。死鸟不会飞，塑料鸟不会飞，被关在笼子里的鸟不能飞……每加一条规则，都会暴露出新的边界情况。而一位五岁的孩子处理这些例外毫不费力，因为他不是靠规则，而是靠大量的经验形成了对「鸟」的直觉。

这正是机器学习给出的答案：与其让人写规则，不如让机器从例子里自己归纳规律。规律不是以 if-then 的形式存在于机器里，而是分散在成千上万个参数中，人读不懂，但它能覆盖规则写不完的边界。第四章从这里开始。当你理解了这个转变，「AI 为什么是黑箱」这个问题也就有了答案：黑箱不是设计缺陷，而是放弃「可读的规则」换来「覆盖例外的能力」的代价。

第三次浪潮：统计学习悄悄接管（1990–2012）

寒冬里发生的事往往比高潮里更重要。1990 年代，一批研究者不再谈「智能」，转而用概率论和统计学处理具体任务：怎样从数据里估计一个函数，怎样衡量一个模型在新数据上的表现，怎样避免它把训练数据死记硬背。支持向量机、决策树、贝叶斯网络、隐马尔可夫模型，这些方法名字不响亮，却真正解决了垃圾邮件过滤、语音识别、信用评分和搜索排序。

这个时期确立了今天仍在用的整套方法论：把问题表述为从数据到预测的映射，用一部分数据训练、另一部分数据检验，用明确的指标衡量好坏。第四、五章讲的就是这套东西。它是机器学习的基础语法，和具体用什么模型无关。

1997 年，IBM 的「深蓝」击败国际象棋世界冠军卡斯帕罗夫，这是第一次浪潮那种「搜索」路线的迟到胜利：它每秒评估两亿个局面，靠的是算力和精心设计的评估函数，而不是学习。同一时期，神经网络在少数几个坚持者手里慢慢进步。杨立昆的卷积网络在 1990 年代末已经能读支票上的手写数字，美国有相当比例的支票由它处理；辛顿的小组在 2006 年前后找到了训练更深网络的方法。但主流仍然认为神经网络是一条支线。

第四次浪潮：2012 年，三个条件同时到位

2012 年 10 月，在 ImageNet 图像识别竞赛上，辛顿和两位学生提交的深度卷积网络把错误率从上一年的 26% 一举降到 16%，领先第二名十个百分点以上。在这种比赛里，每年能进步一两个点已经算大新闻。

关键在于，这个网络的想法并不新。卷积网络是 1980 年代的，反向传播也是。新的是三个条件同时到位：

数据。ImageNet 有一千四百万张人工标注的图片，是此前视觉数据集的百倍以上。这个数据集是李飞飞团队从 2007 年起花了几年时间、借助网络众包平台建起来的，当时很多人认为这是浪费时间。

算力。训练用的是两块游戏显卡。图形处理器（GPU）本来是为了渲染游戏画面设计的，恰好擅长神经网络需要的那种大规模并行矩阵运算。同样的训练，用普通处理器要几个月，用 GPU 只要几天。

算法细节。几个小改进，比如一种更简单的激活函数和一种防止过拟合的随机丢弃技巧，让深层网络终于能稳定训练。每一项单独看都不起眼，加在一起跨过了门槛。

此后五年，深度学习横扫了语音识别、机器翻译、人脸识别、医学影像。2016 年 AlphaGo 战胜李世石，把「机器学习」这个词第一次送上了普通人的饭桌。

回头看四次浪潮，一个模式非常清楚：每一次退潮，都不是因为想法错了，而是因为三个条件里缺了一两个。

第一次浪潮有想法，但算力不够（1970 年的计算机每秒只能做几十万次运算），也没有数据（那时几乎没有数字化的文本和图像）。第二次浪潮有专门的硬件，但知识靠人工录入，等于没有数据。神经网络的想法在 1986 年就完整了，但要等二十六年，等到互联网积累了足够的图片、等到显卡的算力增长了上千倍。

这解释了为什么 AI 的进步看起来是「跳跃式」的：想法是连续积累的，但条件是到达阈值才起效的。也解释了为什么今天的竞争这么大程度上是算力和数据的竞争：算法论文是公开的，任何人都能读；十万块 GPU 和一个干净的万亿词训练集，不是任何人都有。

2020 年之后，这个三角形被量化成了一条经验规律，叫「规模定律」：在一定范围内，模型的表现随着参数量、数据量和计算量的增长呈可预测的幂律改善。它给了大公司下注几十亿美元的信心，也是第九章要讲的「涌现」现象的背景。规模定律是否会持续、在哪里失效，是 2026 年此刻最重要的开放问题之一。

算法、数据、算力：每一次退潮都缺了一角，2012 年三角第一次合拢。

第五次浪潮：2022 年底，破圈

2017 年，一篇标题有点狂妄的论文《注意力就是你所需要的一切》提出了 Transformer 架构。它最初是为机器翻译设计的，但很快人们发现，这种架构在扩大规模时表现得异常稳定：模型越大、数据越多，它就越好，几乎没有饱和的迹象。第八章会拆开它的结构。

2018 到 2020 年，模型的参数从一亿增长到一千七百五十亿。2020 年的 GPT-3 展示了一件怪事：一个只被训练来「预测下一个词」的模型，不需要额外训练，只要在提示里给几个例子，就能做翻译、写代码、答问题。第九章讲这个现象。

但真正让世界注意到的，是 2022 年 11 月 30 日发布的 ChatGPT。技术上它并不比半年前的模型强多少，它做对的是一件产品的事：把「续写文本的引擎」训练成了「会对话的助手」，并且免费给所有人用。两个月内用户过亿，是当时史上增长最快的消费产品。

此后的四年，就是你正在经历的历史：模型开始看图、听声、说话；开始在回答前「思考」几十秒以求更可靠的推理；开始自己调用工具、执行多步任务；训练成本从几亿美元的传说变成几百万美元的开源复现。这些事情发生得太快，以至于这本书专门开了一页叫「此刻」，把会过时的内容放在那里，标上日期。

另一条线：中国

上面的叙述以美国为主，因为前四次浪潮的中心确实在那里。但从第五次浪潮起，这条线上多了一个主角，值得单独讲。

中国的 AI 研究并不年轻。1977 年，数学家吴文俊提出了用代数方法让计算机证明几何定理的「吴方法」，是符号主义时代的重要成果。1980 到 2000 年代，汉字识别、中文语音识别是中国研究者贡献最多的领域，因为这些问题在英文世界里没有人替你解决。

真正的转折在 2010 年代。互联网公司积累了海量数据和用户，深度学习一到，立刻有了用武之地：语音助手、人脸识别、推荐系统，中国团队在这些应用上迅速走到前列。2017 年，国务院发布《新一代人工智能发展规划》，把 AI 列为国家战略。到 2020 年前后，中国在 AI 论文数量、专利和部分应用规模上已与美国并列。

2022 年底 ChatGPT 之后的两年，中国经历了「百模大战」：几十家公司同时训练大模型，大多数昙花一现。但到 2024 年底，局面变了：深度求索用工程优化把训练成本压低了一个数量级，并把模型权重完全开放；阿里的通义千问、智谱、月之暗面、字节等相继开放高水平的权重。2025 年初，一个开源推理模型达到了闭源前沿的水平，全球研究者和企业突然发现，最好用的开放权重模型多来自中国。

这条线对你的意义，一是第十一章会讲的「在自己的服务器上运行接近前沿的模型」从此成为可行选项，本站的伴读助手就跑在校内的开源模型服务上；二是「此刻」页那句提醒：开源与闭源、中美之间的格局变得很快，这一页写下的内容会比其他章更早过时。

把两次寒冬的经过并排看，能提炼出几条至今有效的判断准则。

一、演示不等于产品。1960 年代的积木世界程序、1980 年代的诊断系统，在演示里都无懈可击。它们死在从演示到日常使用的那段路上：真实数据脏，真实用户不按剧本提问，真实世界会变。今天看一个 AI 演示视频时，问一句：这是精心挑选的例子，还是随机抽的？

二、能力的瓶颈常常不在算法。两次寒冬都不是因为想法错了，而是数据和算力没到位。反过来，今天的很多「突破」也不是新想法，而是老想法终于有了条件。

三、维护成本会吃掉收益。专家系统的规则要人维护，今天的模型也要：数据会漂移（第五章），提示词会失效，模型会换版本。上线时算的账，如果没算维护，是错的账。

四、预期由说得最响的人定，代价由所有人付。每次浪潮里，最激进的承诺来自最需要经费的人。当承诺无法兑现，被撤走经费的是整个领域，包括那些没有夸口的人。

五、寒冬里的工作最重要。1990 年代不谈「智能」的统计学习者，2000 年代坚持神经网络的少数人，他们的工作在下一次浪潮里成了地基。当热潮退去，留下来的人和留下来的方法，才是真正的资产。

2018 年，图灵奖（计算机科学的最高奖）授予杰弗里·辛顿、杨立昆和约书亚·本吉奥三人，理由是他们在深度学习上的奠基性工作。这三个人的经历几乎就是连接主义那条线的缩影。

辛顿在 1970 年代做神经网络博士论文时，导师劝他换题；1986 年他与合作者推广反向传播；1990 年代经费枯竭，他从美国搬到加拿大，因为那里的一个基金会愿意长期资助「没有明确应用」的研究；2006 年他提出训练深层网络的新办法，几乎没人注意；2012 年他和两个学生赢了 ImageNet，六十五岁那年，世界终于转过来。2023 年，他从谷歌辞职，以便能不受约束地谈论他对 AI 风险的担忧；2024 年，他获得诺贝尔物理学奖。

杨立昆在辛顿那里做过博士后，1989 年提出卷积网络，1990 年代在贝尔实验室把它做成了能读支票的系统，是深度学习最早的商业应用之一。然后是十几年的冷板凳。2013 年他创建了 Meta 的 AI 实验室，也是开放权重路线最早、最坚定的倡导者之一。

本吉奥留在了蒙特利尔的大学里，在语言建模、注意力机制的前身和生成模型上做了大量基础工作，2014 年注意力机制的最初版本就出自他的实验室。近年他把主要精力转向 AI 安全研究。

三个人有一个共同点：在没有人相信的年代，他们没有换方向。这不是一个「坚持就会成功」的故事，很多人坚持了也没有等到。它更像是第二章那条曲线的注脚：想法是连续的，条件是跳跃的，而在跳跃到来之前，总得有人把想法保存下来。

深度学习的算力条件，来自一个和 AI 毫无关系的行业：电子游戏。

渲染三维游戏画面需要对屏幕上几百万个像素同时做同样的计算，图形处理器（GPU）就是为此设计的：几千个简单的计算核心并行工作，而不是像中央处理器那样用几个复杂核心串行工作。2007 年，英伟达发布了 CUDA，让程序员可以用 GPU 做通用计算，而不只是画图。

神经网络的核心运算是矩阵乘法，本质上也是「对很多数同时做同样的乘加」，和渲染像素的结构一模一样。2009 年前后，几个研究组发现用 GPU 训练网络比用 CPU 快几十倍。2012 年 AlexNet 就是在两块面向游戏玩家的显卡上训练了大约一周。

此后的路线是算力需求和专用硬件的螺旋上升：谷歌 2016 年推出专为神经网络设计的 TPU；英伟达从游戏公司变成 AI 基础设施公司，市值一度成为全球第一；训练前沿模型所需的 GPU 数量从两块变成几万块，采购和电力成为国家级议题。第九章「数据从哪来，钱花在哪」那段讲了它的规模；这一段想说的是，一个领域的关键条件，往往来自另一个领域的副产品。没有游戏玩家几十年的消费，就没有今天的 AI。

这一次为什么不一样，以及为什么可能一样

前四次浪潮都在「就要成功」的时候撞了墙。这一次呢？

有几个理由认为它确实不同。第一，它已经在经济上自我维持了：以前的 AI 靠政府和军方拨款，这一次靠的是数以亿计的付费用户和实打实的生产率提升。第二，它是通用的：专家系统只在一个领域有用，而一个语言模型可以同时做几百件事。第三，它的改进路径是可预测的：规模定律让投资变成了工程问题而不是赌博。

但也有几个理由保持谨慎。规模定律可能在某个地方放缓，高质量的训练数据正在被用尽，算力的能耗已经大到影响电网。更重要的是，前几次浪潮的失败都不是能力问题，而是预期问题：人们期待的东西和技术能给的东西之间的落差，最终摧毁了信心。今天对 AI 的期待，可能比 1965 年更高。

所以这一章最想留给你的，不是一个「这次一定成」或「这次也是泡沫」的判断，而是一种看待方式：当你听到某个 AI 突破的新闻，问三个问题，它的想法是新的还是老的？它的数据从哪里来？它的算力是谁的？把这三个问题问清楚，你对它的可持续性会比大多数评论者看得更准。

自测先自己想，再点开答案

专家系统在 1980 年代确实为企业省了钱，为什么还是失败了？
答案
它们的失败不在于不管用，而在于维护成本：知识要靠人访谈专家、手写规则，规则一多就互相矛盾，世界一变就要重写。这个「知识获取瓶颈」是写规则这条路本身的上限，不是某个产品的缺陷。
深度学习用的卷积网络和反向传播都是 1980 年代的发明，为什么要到 2012 年才爆发？
答案
因为缺少数据和算力。ImageNet 提供了千万级的标注图片，游戏显卡提供了并行计算能力，加上几个训练技巧的小改进，三个条件同时到位后，老想法才跨过了门槛。
用「算法、数据、算力」三角形分析：为什么 AI 算法论文是公开的，但前沿模型仍然集中在少数机构手里？
答案
想法可以复制，条件不能。训练一个前沿模型需要大量 GPU、电力和经过清洗的海量数据，这些是资本和基础设施，不是知识。这也是为什么开源模型多来自资源充足的公司或国家级团队。
前几次寒冬的直接原因是什么？它和技术能力的关系是什么？
答案
直接原因是期待与能力之间的落差导致经费和信心撤出。技术本身往往并没有「失败」，而是没能在承诺的时间里做到承诺的事。这提醒我们，评价当下的浪潮时，要把「能做什么」和「被说成能做什么」分开看。