第 2 章 · 第一部分 地图

七十年,三次浪潮

AI 的历史不是一条上升的直线,而是几次高潮与几次寒冬。每次转折都有一个具体的原因,而且原因往往不是「更聪明的算法」。

人工智能导论 · 上海交通大学「AI+教育」平台 · 讲义版幻灯片

这一讲对应《Hello, AI》第 2 章《七十年,三次浪潮》。主线约 12 分钟的阅读量,展开讲一节课。

本章要回答的问题:为什么 AI 会一次次「就要成功了」又沉寂下去,而这一次为什么不一样?

开场同一个问题,问了六十年

「机器什么时候能做人能做的一切?」

1965
「二十年内。」第一次浪潮的顶点,经费充足,信心十足。
1985
「二十年内。」第二次浪潮的顶点。同样的回答,同样的自信。
2005
「AI 已经是个不体面的词。」研究者改口说自己做的是「统计学习」或「数据挖掘」。
2025
这个问题重新变得严肃而且答案的分歧比任何时候都大。

开场先建立一个事实:这个领域反复自信过,也反复自我否认过。学生对当下的判断,需要这个背景。

可以问:如果 1965 年和 1985 年的专家都说错了,今天的专家凭什么说得准?本章末尾会给出一个回答方式。

?

为什么 AI 会一次次「就要成功了」,
又沉寂下去?

本章的目的不是让你记住年份,而是让你看到一个反复出现的模式:
每一次浪潮由一个真正的想法点燃,每一次退潮都撞上同一堵墙,
而每一次翻盘靠的都不只是想法本身。

这一页给学生一个听课的任务:本节课出现五次浪潮,请他们记下每次「点燃的想法」和「撞上的墙」。下课时可以抽查。

全景七十年

三座山,两个谷,最后一座还在爬

第一次寒冬1974–80 第二次寒冬1987–93 19501960197019801990200020102026 符号主义1956 达特茅斯 专家系统1980 XCON 统计学习1997 深蓝 深度学习2012 ImageNet 大模型2022 ChatGPT 纵轴是投入与期待,不是能力:能力一直在积累,起落的是信心。
曲线画的是投入与期待,不是能力。能力其实一直在缓慢上升。

务必强调图注:这条起伏的曲线是期待,不是能力。两次寒冬里,能力并没有倒退,倒退的是信心和钱。

一1956—1974

第一次浪潮:把智能写成规则

一个诱人的类比:数学证明是智能活动的典型,而数学证明可以被写成符号操作的规则——那么智能也可以。

达特茅斯符号主义组合爆炸常识问题
1956一个名字的诞生

十来个人,两个月,一个新名字

达特茅斯会议
1956 年夏天,达特茅斯学院。(插画,非历史照片)

最初的十年成果惊人:

  • 证明《数学原理》里的定理
  • 解代数应用题
  • 在受限的积木世界里理解英语并动手

研究者看到的是一条笔直的路:把更多知识写成规则,机器就会越来越聪明。政府和军方投入了大量经费。

「积木世界」值得解释一句:在一个只有几块积木的微型世界里,程序确实能听懂「把红色方块放在绿色方块上」。问题是这个世界一放大就崩了。

1970s两堵墙

玩具问题上有效的方法,
在真实规模上算不完

墙一

组合爆炸

搜索的可能性数量随问题规模指数增长。在八个积木上可行的办法,在八十个上再快的计算机也算不完。

这不是「计算机不够快」,是增长的速度压倒了任何硬件的进步。

墙二

常识问题

让机器理解「把杯子放在桌上」,需要它知道杯子有底、桌子是平的、放上去不会掉下来——而这些没有人写在任何地方。

人类共享的背景知识,恰恰是最没被记录下来的那部分。

1973 年,英国的一份评估报告断言 AI 未能实现任何承诺,经费被大幅削减。第一次寒冬。

这两堵墙在今天以新的形式仍然存在:组合爆炸对应智能体的长任务规划(第十二章),常识问题对应模型的世界知识(第十章)。

深入1969 年那本书

神经网络被判死刑的那一次

感知机 Mark I
感知机 Mark I 占满一个房间,用电位器当「旋钮」。(插画)

1958 罗森布拉特造出「感知机」,能从例子里学会区分简单图形。《纽约时报》说它是「能走路、说话、看东西、写字、自我复制并意识到自身存在的电子计算机的雏形」。

1969 明斯基与帕珀特出版《感知机》,用数学证明单层感知机连「异或」都学不会。

证明本身没错。但经费机构把它读成了「神经网络这条路走不通」,连接主义研究几乎停摆十五年。

这是科学传播失真的经典案例:一个精确的、范围有限的数学结论,被读成了一个宽泛的否定判断。

这本书漏掉的关键

多层网络可以学会异或,
也可以学会几乎任何函数。

只是当时没有人知道怎样训练多层网络。这要等到 1986 年的反向传播,而反向传播真正发挥威力,又要等到 2012 年算力和数据到位。

一个正确的想法,可以因为缺少配套条件而被冷藏几十年。这是 AI 历史里反复出现的情节。

请把这句话写在黑板上,本章后面还会用到它三次。

二1980—1987

第二次浪潮:专家系统

这一次的想法比第一次谦虚:不追求通用智能,只把某个狭窄领域里专家的知识写成规则,让机器在那个领域当顾问。

MYCINXCON知识工程师知识获取瓶颈
1980s它真的管用

而且真的赚到了钱

1970s

MYCIN

用几百条规则诊断血液感染,准确率与专科医生相当。

1980

XCON

为数字设备公司配置计算机订单,据说每年省下几千万美元。

职业

「知识工程师」成了热门职业

工作内容:访谈专家,把「凭感觉」的判断翻译成 if-then 规则。

国家级投入

第五代计算机

日本启动雄心勃勃的计划,美国和欧洲跟进。专家系统市场在 1980 年代中期达到十亿美元量级。

强调「它真的管用」。第二次浪潮不是骗局,这让它的崩塌更值得研究。

这一次的墙

知识获取瓶颈:
规则写不完,也维护不起。

访谈极慢;规则一多就互相矛盾;世界一变就得重写。维护成本吞掉了收益。

1987 年,专用 AI 硬件市场崩盘。第二次寒冬比第一次更冷——「人工智能」这个词本身,成了融资时要避开的字眼。

「维护成本吞掉收益」今天完全适用:提示词会失效,数据会漂移,模型会换版本。上线时算的账如果没算维护,是错的账。

深入为什么写规则注定写不完

「鸟会飞」这条规则

  • 鸟会飞。
  • 企鹅不会飞——加一条例外。
  • 受伤的鸟不会飞——再加一条。
  • 死鸟不会飞。
  • 塑料鸟不会飞。
  • 被关在笼子里的鸟不能飞……

每加一条规则,都会暴露出新的边界情况。哲学家把它叫作「框架问题」。

而一个五岁的孩子处理这些例外毫不费力——因为他不是靠规则,而是靠大量经验形成了对「鸟」的直觉。

这正是机器学习给出的答案:与其让人写规则,不如让机器从例子里自己归纳。规律不以 if-then 的形式存在,而是分散在成千上万个参数里。

→ 第四章从这里开始

这个例子最好现场演绎:让学生轮流补一条例外,补到第六七条时全场会笑,那个笑点就是「框架问题」。

顺便回答一个常见问题

AI 为什么是黑箱?
因为黑箱不是设计缺陷。

它是我们主动做的一次交换:放弃「人能读懂的规则」,换来「覆盖不完的例外」的能力。

专家系统完全可解释,但写不完;神经网络覆盖得住,但读不懂。这不是技术不成熟,是这条路的代价。

学生常把可解释性当成一个「迟早会解决的工程问题」。这一页给的是另一种理解:它是范式选择的结构性代价,而不是 bug。

三1990—2012

第三次浪潮:统计学习悄悄接管

寒冬里发生的事,往往比高潮里更重要。一批研究者不再谈「智能」,转而用概率论和统计学处理具体任务。

支持向量机决策树贝叶斯网络隐马尔可夫模型
1990s名字不响亮,但真的解决了问题

不谈智能,只谈从数据到预测

它们做成了什么
  • 垃圾邮件过滤
  • 语音识别
  • 信用评分
  • 搜索排序
留下了一整套方法论
  • 把问题表述为映射从数据到预测。
  • 训练集与检验集分开用一部分学,用另一部分考。
  • 用明确的指标衡量好坏而不是看演示效果。

这是机器学习的基础语法,和具体用什么模型无关 → 第四、五章

这一页在全书里的位置很关键:第四、五章的所有内容都是 1990 年代这批人确立的,它们比任何一个具体模型都长寿。

1997 与同期两条路并行

一次迟到的胜利,一条沉默的支线

1997 · 搜索路线

深蓝击败卡斯帕罗夫

每秒评估两亿个局面,靠算力和精心设计的评估函数,不靠学习。这是第一次浪潮那条路的迟到胜利。

同期 · 连接主义

在少数坚持者手里慢慢进步

杨立昆的卷积网络在 1990 年代末已经能读支票上的手写数字,美国有相当比例的支票由它处理;辛顿的小组在 2006 年前后找到了训练更深网络的办法。

但主流仍然认为神经网络是一条支线。

「能读支票」是个好细节:深度学习最早的大规模商业应用,比 2012 年早了十五年,只是没人把它当成 AI(又一次 AI 效应)。

四2012

第四次浪潮:三个条件同时到位

想法并不新。新的是想法终于有了它一直缺少的东西。

ImageNetGPU激活函数与丢弃算法 · 数据 · 算力
2012 年 10 月ImageNet 竞赛

错误率一年降了十个点

ImageNet
一千四百万张标注图片,遇上两块游戏显卡。
上一年最好成绩26%图像识别错误率
辛顿与两位学生16%领先第二名十个百分点以上

在这种比赛里,每年能进步一两个点已经算大新闻。

让学生体会这个数字的冲击力:相当于一个成熟赛道上突然有人把纪录提高了一大截,而且用的还是被判过死刑的老方法。

2012新的不是想法

三个条件,同时到位

数据

ImageNet

一千四百万张人工标注图片,是此前视觉数据集的百倍以上。李飞飞团队从 2007 年起花了几年、借助网络众包建起来。

当时很多人认为这是浪费时间。

算力

两块游戏显卡

GPU 本来是为渲染游戏画面设计的,恰好擅长神经网络需要的大规模并行矩阵运算。

同样的训练,用普通处理器要几个月,用 GPU 只要几天。

算法细节

几个小改进

一种更简单的激活函数,一种防止过拟合的随机丢弃技巧,让深层网络终于能稳定训练。

每一项单独看都不起眼,加在一起跨过了门槛。

此后五年,深度学习横扫语音识别、机器翻译、人脸识别、医学影像。2016 年 AlphaGo 战胜李世石,把「机器学习」第一次送上普通人的饭桌。

「新的不是想法」这句话请重复一遍。卷积网络是 1980 年代的,反向传播也是。

深入三角形

每一次退潮,都缺了一角

算法 数据 算力 三角形,缺一角就撑不起来 第一次浪潮 · 1956有想法;几乎没有数字化数据;算力每秒几十万次 第二次浪潮 · 1980专用硬件;知识靠人手录入,等于没有数据 2012 · 三角合拢老算法 + ImageNet 千万图片 + 两块游戏显卡 2020 之后 · 规模定律三角被量化成幂律:损失随参数、数据、算力可预测下降 此刻的开放问题高质量数据接近用尽,算力撞上能源,定律还能走多远
  • 第一次浪潮有想法,没算力(1970 年的计算机每秒只做几十万次运算),也没数据。
  • 第二次浪潮有专门硬件,但知识靠人工录入,等于没有数据。
  • 神经网络想法 1986 年就完整了,要等二十六年——等互联网攒够图片,等显卡快上一千倍。

想法是连续积累的,条件是到阈值才起效的。这就是为什么 AI 的进步看起来是跳跃式的。

这张三角形图是本章最值得背下来的分析工具,下一页的「三个问题」就是它的使用方法。

深入2020 年之后

三角形被量化成了一条规律

规模定律

在一定范围内,模型的表现随着参数量、数据量、计算量的增长呈可预测的幂律改善。

它把「训练一个更强的模型」从赌博变成了工程问题。

它给了大公司下注几十亿美元的信心,也是第九章「涌现」现象的背景。

规模定律是否会持续、在哪里失效,是 2026 年此刻最重要的开放问题之一。

这也是为什么今天的竞争这么大程度上是算力和数据的竞争:算法论文是公开的,任何人都能读;十万块 GPU 和一个干净的万亿词训练集,不是任何人都有。

如果学生问「那堆钱到底买了什么」,答案就在这里:买的是三角形里的两个角。

五2022 年底

第五次浪潮:破圈

技术上它并不比半年前的模型强多少。它做对的是一件产品的事。

TransformerGPT-3ChatGPT两个月一亿人
2017—2022五年

从一篇论文到一亿用户

2017
《注意力就是你所需要的一切》Transformer 架构最初是为机器翻译设计的。人们很快发现它在扩大规模时异常稳定:越大越好,几乎没有饱和迹象。→ 第八章
2018—20
参数从一亿到一千七百五十亿GPT-3 展示了一件怪事:一个只被训练来「预测下一个词」的模型,不需额外训练,只要在提示里给几个例子,就能翻译、写代码、答问题。→ 第九章
2022.11.30
ChatGPT把「续写文本的引擎」训练成了「会对话的助手」,并且免费给所有人用。

2017 那篇论文的标题当年被认为「有点狂妄」,现在看是本领域最著名的标题之一。

2022.11.30两个月,一亿人

技术没变多少,变的是它成了一件产品

ChatGPT 破圈
两个月,一亿人:当时史上增长最快的消费产品。

此后的四年,就是你正在经历的历史:

  • 开始看图、听声、说话 → 第十一章
  • 回答前先「思考」几十秒 → 第九章
  • 自己调用工具、执行多步任务 → 第十二章
  • 训练成本从几亿美元的传说变成几百万美元的开源复现

这些事发生得太快,所以这本书专门开了一页叫「此刻」,把会过时的内容放在那里,标上日期。

提醒学生去看网站上的「此刻」页。课程内容里最容易过时的部分被刻意隔离在那一页。

另一条线China

从第五次浪潮起,多了一个主角

前四次浪潮的中心确实在美国。但这条线值得单独讲——它直接决定了这门课里很多东西是否可行。

中国一条并不年轻的线

从吴方法到开放权重

1977
吴文俊提出「吴方法」用代数方法让计算机证明几何定理,是符号主义时代的重要成果。
1980—2000s
汉字识别、中文语音识别中国研究者贡献最多的领域——因为这些问题在英文世界里没有人替你解决。
2010s
数据与场景的优势互联网公司积累了海量数据和用户,深度学习一到立刻有用武之地:语音助手、人脸识别、推荐系统。
2017
《新一代人工智能发展规划》AI 列为国家战略。到 2020 年前后,论文数量、专利和部分应用规模已与美国并列。
2023—24
「百模大战」,然后局面变了深度求索用工程优化把训练成本压低一个数量级并完全开放权重;通义千问、智谱、月之暗面、字节相继开放高水平权重。
2025
最好用的开放权重模型多来自中国一个开源推理模型达到了闭源前沿的水平。

两个现实意义:一、第十一章讲的「在自己的服务器上跑接近前沿的模型」成为可行选项——本站的伴读助手就跑在校内的开源模型服务上。二、这一页的内容会比其他章更早过时。

深入两次寒冬留下的教训

五条至今有效的判断准则

1

演示不等于产品

积木世界、诊断系统在演示里都无懈可击,死在从演示到日常使用的那段路上。看一个 AI 演示视频时问一句:这是精心挑选的例子,还是随机抽的?

2

瓶颈常常不在算法

两次寒冬都不是想法错了,而是数据和算力没到位。反过来,今天的很多「突破」也不是新想法,而是老想法终于有了条件。

3

维护成本会吃掉收益

数据会漂移,提示词会失效,模型会换版本。上线时算的账,如果没算维护,是错的账。

4

预期由说得最响的人定,代价由所有人付

最激进的承诺来自最需要经费的人;承诺落空时,被撤走经费的是整个领域。

五、寒冬里的工作最重要。1990 年代不谈「智能」的统计学习者,2000 年代坚持神经网络的少数人,他们的工作在下一次浪潮里成了地基。

第一条最实用,可以现场演示:找一段 AI 产品宣传视频,逐帧问「这是挑出来的还是随机的」。

深入人物

一起等了三十年的三个人

2018 图灵奖

杰弗里·辛顿

1970 年代做神经网络博士论文时导师劝他换题;1986 年推广反向传播;1990 年代经费枯竭,搬到加拿大,因为那里有基金会愿意长期资助「没有明确应用」的研究;2012 年赢下 ImageNet,那年六十五岁。

2023 年从谷歌辞职以便自由谈论 AI 风险;2024 年获诺贝尔物理学奖。

2018 图灵奖

杨立昆

在辛顿那里做过博士后,1989 年提出卷积网络,1990 年代在贝尔实验室做成能读支票的系统——深度学习最早的商业应用之一。然后是十几年的冷板凳。

2013 年创建 Meta 的 AI 实验室,也是开放权重路线最早、最坚定的倡导者之一。

2018 图灵奖

约书亚·本吉奥

留在蒙特利尔的大学里,在语言建模、注意力机制的前身和生成模型上做了大量基础工作,2014 年注意力机制的最初版本出自他的实验室。

近年把主要精力转向 AI 安全研究。

共同点:在没有人相信的年代,他们没有换方向。这不是一个「坚持就会成功」的故事——很多人坚持了也没等到。它更像那条曲线的注脚:想法是连续的,条件是跳跃的,而在跳跃到来之前,总得有人把想法保存下来。

对学生(尤其是研究生)来说,这一页的价值不在励志,而在理解科研的时间尺度。

深入GPU

深度学习的算力,来自电子游戏

  1. 为什么 GPU 长成这样渲染三维画面要对几百万个像素同时做同样的计算,于是 GPU 用几千个简单核心并行工作,而不是像 CPU 那样用几个复杂核心串行工作。
  2. 2007:CUDA英伟达让程序员可以用 GPU 做通用计算,而不只是画图。
  3. 结构恰好一样神经网络的核心运算是矩阵乘法——「对很多数同时做同样的乘加」,和渲染像素一模一样。2009 年前后,几个研究组发现用 GPU 训练网络快几十倍。
  4. 螺旋上升谷歌 2016 年推出专为神经网络设计的 TPU;英伟达从游戏公司变成 AI 基础设施公司;训练前沿模型的 GPU 数量从两块变成几万块,采购与电力成为国家级议题。

一个领域的关键条件,往往来自另一个领域的副产品。没有游戏玩家几十年的消费,就没有今天的 AI。

这个故事对文科背景的学生特别有吸引力,也很适合作为「技术史中的偶然性」的例子。

收束这一次呢

前四次都在「就要成功」时撞了墙

理由:确实不同
  • 经济上自我维持以前靠政府和军方拨款,这一次靠数以亿计的付费用户和实打实的生产率提升。
  • 它是通用的专家系统只在一个领域有用,一个语言模型可以同时做几百件事。
  • 改进路径可预测规模定律让投资变成工程问题,而不是赌博。
理由:保持谨慎
  • 规模定律可能放缓高质量训练数据正在被用尽。
  • 能耗已大到影响电网
  • 落差是预期问题,不是能力问题前几次失败都不是能力不行,而是期待与能给的之间的落差摧毁了信心。今天对 AI 的期待,可能比 1965 年更高。

不要替学生下结论。本章不给「这次一定成」或「这次也是泡沫」的判断,只给下一页那把尺子。

本章真正想留下的

听到一个 AI 突破的新闻,
问三个问题。

一、它的想法是新的还是老的?
二、它的数据从哪里来?
三、它的算力是谁的?

把这三个问题问清楚,你对它的可持续性会比大多数评论者看得更准。

这三个问题就是三角形图的使用说明。可以当场找一条当天的 AI 新闻,带学生问一遍。

自测第 1、2 题

专家系统在 1980 年代确实为企业省了钱,为什么还是失败了?

卷积网络和反向传播都是 1980 年代的发明,为什么要到 2012 年才爆发?

参考答案 一、失败不在于不管用,而在于维护成本:知识要靠人访谈专家、手写规则,规则一多就互相矛盾,世界一变就要重写。这个「知识获取瓶颈」是写规则这条路本身的上限,不是某个产品的缺陷。

二、因为缺少数据和算力。ImageNet 提供了千万级标注图片,游戏显卡提供了并行计算能力,加上几个训练技巧的小改进,三个条件同时到位,老想法才跨过门槛。

第二题请要求学生用「三角形」这个词来回答。

自测第 3、4 题

AI 算法论文是公开的,为什么前沿模型仍然集中在少数机构手里?

前几次寒冬的直接原因是什么?它和技术能力是什么关系?

参考答案 三、想法可以复制,条件不能。训练一个前沿模型需要大量 GPU、电力和经过清洗的海量数据,这些是资本和基础设施,不是知识。这也是为什么开源模型多来自资源充足的公司或国家级团队。

四、直接原因是期待与能力之间的落差导致经费和信心撤出。技术本身往往并没有「失败」,而是没能在承诺的时间里做到承诺的事。评价当下的浪潮时,要把「能做什么」和「被说成能做什么」分开看。

第四题可以延伸成一次小组讨论:今天哪些说法属于「被说成能做什么」?

收束第 2 章

这一章留下什么

  • 七十年是三座山两个谷,曲线画的是投入与期待,不是能力——能力一直在缓慢上升。
  • 每次退潮都缺了三角形的一角:算法、数据、算力。想法是连续的,条件是跳跃的。
  • 写规则这条路有结构性上限(框架问题);黑箱不是缺陷,是换取「覆盖例外」付出的代价。
  • 2012 年靠的不是新想法:ImageNet + GPU + 几个训练技巧,让 1980 年代的方法跨过门槛。
  • 面对任何 AI 新闻问三个问题:想法是新是老?数据从哪来?算力是谁的?
本章术语
符号主义专家系统AI 寒冬感知机反向传播ImageNet摩尔定律与 GPU规模定律

继续读

正文与「深入」段落:ai4edu.sjtu.edu.cn/helloai/read/seventy-years/
下一章:第 3 章 不只是神经网络

留三到五分钟做本页的回顾,让学生用自己的话复述其中一条。

阅读本章正文 ↗ 全部幻灯片

放映快捷键

← → 空格
上一页 / 下一页
数字 + 停顿
跳到第 N 页
O
缩略总览,点一张跳过去
N
讲者备注抽屉
S
改成一步一点(默认一次一整页)
F
全屏
P
打印 / 导出 PDF(每页一张)
Esc
退出总览或关闭本窗

鼠标移到屏幕底部会显示控制条;页码记在地址栏的 # 后面,刷新不会丢。
手机上:竖着拿会自动把版面转过来(底下那条里的「转向」可以切回去),点右半边或往上滑翻页。

在手机上怎么翻

竖着拿的时候,整张幻灯片会自动转过来,字大一倍;把手机横过来也一样能看。

点右半边或往上滑是下一页,点左半边回上一页。屏幕底下那条里有缩略总览和讲者备注。

或者读这一章的正文 →