自动驾驶：四种能力的合体

2016 年前后，几乎每家车企和科技公司都说无人驾驶「几年内」到来。到 2026 年，无人出租车确实在若干城市运营：你可以在武汉、深圳、北京、旧金山、凤凰城叫到一辆没有司机的车。但它们仍限于划定的区域；而路上绝大多数的「智能驾驶」仍然要求人随时接管，并且每年都有因为人没有接管而发生的事故。

这十年的落差不是失败，而是一堂关于「最后一万分之一」的公开课。自动驾驶把第一章的四种能力全部用上，把第五章的分布偏移和第十一章的「行动有后果」推到极致，还提出了一个别的领域可以回避、它回避不了的问题：一个 AI 系统要多安全，才算够安全？

这篇专题比别的长。它分四部分：车在做什么，它是怎么走到今天的，安全与人的问题，以及它教给我们的。可以只读感兴趣的部分。

一、一个路口的两秒

先看一个具体的场景，再拆结构。

雨夜，一辆无人车以每小时三十公里接近一个十字路口，绿灯。右前方人行道上一个撑伞的人在走，左侧车道一辆车打着转向灯，对面一辆公交车正在起步。接下来的两秒钟，车做了这些事。

第 0 毫秒到第 50 毫秒：车顶的激光雷达转完一圈，得到几十万个带距离的点；八个摄像头各拍了一帧；毫米波雷达报告了几十个带速度的回波。感知网络把它们变成一张「鸟瞰图」：以自己为中心、俯视的一张地图，上面标着每个物体的位置、大小、朝向、速度和类别。撑伞的人是「行人，距路缘 0.4 米，速度 1.2 米/秒，朝向路口」。

第 50 毫秒到第 80 毫秒：预测网络对每个物体给出未来五秒的几条可能轨迹和各自的概率。行人：停在路缘等 50%，横穿 35%，沿人行道走 15%。左侧车：并线 40%，直行 60%。公交车：起步直行 90%。

第 80 毫秒到第 120 毫秒：规划器生成几百条自己的候选轨迹（匀速通过、轻踩刹车、减到十五公里、停下），对每一条算一个代价：与每个物体每种未来的碰撞风险、是否合规、乘客是否舒服、能否按时到达。行人横穿的 35% 让「匀速通过」的代价很高，选中的是「减到十八公里、稍向左偏，保持通过」。

第 120 毫秒到第 150 毫秒：控制器把这条轨迹变成方向盘角度和制动压力，发给执行机构。

然后这一切从头再来。每秒十到二十次。两秒钟里，车重新决定了三十次。当行人在第 0.8 秒真的迈下路缘，预测里的「横穿」变成 95%，规划器在下一个周期改成「停下」，控制器把制动压力提上去。乘客感觉到的只是一次平稳的减速。

这两秒里，四种能力全在：识别（感知）、预测、决策（规划）、以及后面会讲的生成（仿真训练）。

二、四层：车在做什么

感知：三种眼睛

感知层的输入来自三种传感器，它们的长短几乎互补。

摄像头便宜、分辨率高、能读颜色和文字（红绿灯、路牌、地面箭头），但它给出的是二维图像，距离要靠推算，而且和人眼一样怕黑、怕逆光、怕雨水。激光雷达发出激光测距，直接给出厘米级精度的三维点云，不受光照影响，但雨雾会让它衰减，它也看不懂颜色，一张画在墙上的隧道对它来说就是一堵墙。毫米波雷达穿透雨雾，直接测速度，能看几百米远，但分辨率低，而且传统雷达分不清静止的物体和路面，所以「把停在路边的消防车当成背景」是早期系统的一类典型事故。

融合是把三者拼成一个世界。早期做法是各自识别再投票；现在的做法是把三种数据一起送进一个网络，直接输出鸟瞰图。鸟瞰图这个表示是 2020 年之后感知的核心进步：不再在图像平面上画框，而是在俯视的平面上表示一切，这样多摄像头、多传感器的信息天然可以叠加，预测和规划也天然在这个平面上工作。更进一步的做法叫「占用网络」：不识别「这是什么」，只回答「这个空间格子有没有东西」，于是一个从没见过的物体（掉在路上的沙发）也能被当作障碍。这是第六章表示学习的一个漂亮应用：让网络学出一种对下游任务最有用的表示。

深入纯视觉与激光雷达之争1 分钟

这个领域最著名的路线分歧：要不要激光雷达。

一方以特斯拉为代表：人靠两只眼睛就能开车，所以摄像头足够，激光雷达贵、丑、多余；把钱花在数据和算力上，让网络从海量视频里学会「看出距离」。这条路的逻辑是第二章的三角形：赌数据和算力能补上传感器的短板。

另一方以 Waymo 和几乎所有中国的无人出租车公司为代表：安全冗余是第一位的，三种传感器互相校验，任何一种失效都还有另外两种；激光雷达的成本问题会被规模解决。事实是激光雷达的价格从 2010 年代的几十万元降到了 2025 年的几千元，中国供应商（禾赛、速腾）占了全球大部分份额，装激光雷达的乘用车在中国已经是二十万元级别的标配。

到 2026 年，这个争论的答案有点像第三章的「三者合流」：做无人出租车（要在没有人兜底的情况下运营）的公司几乎都用激光雷达；做量产辅助驾驶（有人兜底）的公司在两条路上都有，而纯视觉路线在 2024 年之后靠端到端网络证明了自己在常见路况上的能力。分歧本质上是对「多少冗余才够」的不同回答，而这取决于谁在兜底。

预测：比看见更难

看见一个行人不难，难的是知道他下一秒要做什么。

预测的输出不是一条线，而是每个物体的几种未来和各自的概率。这有两个原因。第一，人的意图本来就不确定，同一个姿态可以是「要过」也可以是「在等」。第二，也是更深的，未来是交互的：那个行人会不会过，取决于他看到我会不会让；我让不让，取决于他会不会过。预测网络因此要同时考虑所有物体，输出的是一组互相一致的未来，而不是各自独立的猜测。

预测用的数据是驾驶日志里每个物体过去的轨迹和之后真实发生的轨迹，第四章的监督学习。它的模型近几年越来越多地用第八章的 Transformer：把场景里所有物体的历史当作一串 token，让注意力去发现谁在影响谁。一个常被引用的观察是：模型学会了「转向灯」和「减速」之间的关系，也学会了「公交车靠站时后面的车会绕行」这类没有人写进规则的规律。

预测的上限由数据决定，第五章的道理。在数据稀少的场景（施工路段、交警手势、乡村道路上的牲畜），预测最不可靠，这也是无人出租车划定运营区域的原因之一。

规划：在所有未来里选一条路

规划器的任务是在几百条候选轨迹里选一条。它用一个代价函数打分，这个函数写着这个系统的价值观。

代价函数通常有几十项：与每个物体每种未来的碰撞概率（权重最高），是否越线、超速、闯灯（硬约束，直接否决），加减速和转向的平顺程度（乘客舒适），是否偏离路线（效率），以及一些微妙的项：与旁边大车保持的距离、经过学校区域的速度、对行人的礼让程度。这些权重最初由人手调，现在越来越多地从人类司机的驾驶数据里学出来（模仿学习），或者用第三章的强化学习在仿真里优化。

这一层最能体现第三章讲的「规则给神经网络系安全带」。学习出来的规划器负责在正常情况下开得像一个好司机，一层硬编码的规则负责「不管发生什么都不能做的事」：不能撞上任何被感知到的物体，不能闯红灯，速度不能超过某个上限。学习的部分可以犯错，规则的部分不允许。

深入模块化与端到端1 分钟

把感知、预测、规划各自做好再接起来，叫模块化路线。它的好处是每一层都能单独测试、单独改进，出了事故能查出是哪一层的问题；接口是人定义的，可以检查。它的坏处也在接口：感知层输出「前方有一个行人」，但丢掉了「他正在看手机」这个对预测很重要的细节。信息在每一个接口处损失。

2023 年之后兴起的端到端路线，用一个网络从传感器数据直接输出轨迹，中间的表示由网络自己学出来。特斯拉 2024 年初推送的版本是这条路线第一次大规模上路，随后中国的多家车企跟进。它在常见路况上开得更「像人」：在没有车道线的路上、在需要跟人「商量」的路口，表现明显好于规则堆出来的规划器。它的代价是黑箱：出了事故，很难说清网络为什么这样开；改一个行为，不能只改一条规则，要重新训练。

2026 年的主流是混合：端到端网络做主干，模块化的规则做安全兜底，同时保留中间表示的可读性以便调试。这个混合结构和第十二章的驾具异曲同工：让学习的部分负责能力，让确定性的部分负责边界。

控制

把轨迹变成方向盘、油门、刹车，每秒几十到上百次。这一层几乎不用机器学习，是几十年的控制理论：车辆的动力学有精确的物理模型，不需要从数据里学。它也是四层里最可靠的一层，很少出问题。

三、二十年：从沙漠到城市

2004 到 2007，沙漠里的挑战赛。美国国防高级研究计划局悬赏一百万美元，让无人车穿越两百多公里的沙漠。2004 年，没有一辆车跑过十几公里。2005 年，斯坦福的「斯坦利」跑完了全程，用的是激光雷达、摄像头和机器学习：它从人开的一小段路里学习「什么样的地面能开」，再用这个模型判断前方。2007 年的城市挑战赛把场地换成了模拟城市，车要遵守交规、处理路口和会车。这三场比赛的参赛者后来几乎创办或领导了这个行业的每一家公司。

2009 到 2016，谷歌与激光雷达路线。2009 年谷歌立项，带头的正是斯坦利的负责人。它选择了激光雷达加高精地图的路线：先把每条路测绘到厘米级，车在路上只需要把自己和地图对上，然后处理动态的东西。2015 年特斯拉推出 Autopilot，走了另一条路：不用激光雷达，不用高精地图，在量产车上用摄像头和雷达做 L2，让几十万辆车为它收集数据。2016 年，「几年内实现完全自动驾驶」的说法到达顶峰。

2018，两件事。三月，Uber 的测试车在亚利桑那撞死了一位推着自行车横穿马路的行人。事故调查发现感知系统在碰撞前几秒反复改变对她的分类（车、自行车、未知），紧急制动被禁用以避免误刹，而车里的安全员在看手机。这起事故几乎包含了本篇讲的每一个问题：长尾场景、感知的不确定、规则被关掉、人没有监控。同年十二月，Waymo（谷歌项目分拆的公司）在凤凰城开始向公众提供带安全员的无人出租车服务。

2020，真正的无人。Waymo 在凤凰城开始让公众乘坐没有安全员的车。这是「无人驾驶」这个词第一次在商业服务里名副其实。此后三年，它扩展到旧金山、洛杉矶，累计里程从百万级到千万级。

2023，分化。十月，通用旗下的 Cruise 在旧金山发生一起事故：一位被另一辆车撞倒的行人被卷入 Cruise 车下，车在停下后又向前拖行了几米。事故本身有多重原因，但公司在向监管机构汇报时隐瞒了拖行的部分，运营许可被吊销，一年后通用关闭了整个无人出租车业务。同一年，中国的「城市领航辅助」在多个品牌的量产车上铺开，从高速扩展到城市道路，激光雷达开始成为二十万元级车型的配置。

2024 到 2025，规模化。百度的萝卜快跑在武汉投放了数百辆无人车，成为全球最大的单城市无人出租车运营之一，也引发了关于司机就业的公开讨论。Waymo 扩展到更多城市，报告了数千万英里的无人里程和显著低于人类司机的伤害事故率。特斯拉推送了端到端版本，并在 2025 年开始小规模的无人出租车试运营。小马智行、文远知行在中美两地运营并上市。激光雷达降到几千元。「端到端」成为新车发布会的标配词。2025 年春天，中国一起涉及辅助驾驶的致命事故之后，监管收紧了对「智驾」宣传的要求，禁止把 L2 说成「自动驾驶」。年底，中国开始向少数车型发放有条件自动驾驶（L3）的准入。

这条时间线上有一个反复出现的模式：每一次「快好了」都是真的，只是快好的是一个阶段，而下一个阶段又隔了五到十年。能跑、能在城市里跑、能不带人跑、能在很多城市不带人跑并且算得过账，是四件不同的事。

深入高精地图：要不要先把路测绘一遍1 分钟

早期无人车几乎都依赖高精地图：事先用测绘车把每条路的车道线、路缘、红绿灯位置测到厘米级，车上路时只需要定位到地图上，感知的负担大大减轻。

它的问题是成本和时效。一个城市的高精地图要几个月测绘，路一改就过时，而路每天都在改（施工、临时封闭、新划的车道）。把它扩展到全国，是一个永远做不完的工程。

2022 年之后，「无图」成了中国车企的竞争口号：不依赖高精地图，靠感知实时理解道路结构。这需要感知层更强（要实时识别车道拓扑，而不只是车道线），也是鸟瞰图表示和端到端路线兴起的动力之一。到 2025 年，量产辅助驾驶基本都是「无图」或「轻图」（只用普通导航地图），而无人出租车公司仍然在运营区域内维护高精地图，因为对它们来说，多一层冗余值得这个成本。这又是「谁在兜底」决定的选择。

四、安全：多安全才算够

这是自动驾驶独有的、而且没有标准答案的问题。

怎样衡量

最常被引用的数字是「每次接管的里程」：在测试中，安全员平均每开多少公里要接管一次。它容易得到，也容易误导：接管的标准各家不同，测试的路况各家不同，而且它衡量的是「系统觉得自己不行」的频率，不是「系统出事」的频率。

真正有意义的数字是每百万公里的事故率，按严重程度分开，与同样路况下的人类司机比较。这里遇到一个统计难题：人类司机大约每一亿公里发生一次致命事故。要以统计上可信的方式证明一个系统比人类安全，需要几十亿公里，而这是任何测试车队都跑不出来的。所以行业用的是组合证据：真实里程的事故率（对常见事故有说服力），仿真里的罕见场景测试（对长尾），以及对每一起事故的逐案分析。

到 2025 年，运营里程最多的无人出租车公司报告的伤害事故率比同路况的人类司机低了几成到八成。这些数据来自公司自己，第五章会提醒你追问口径；但它们经过了独立研究者和保险公司的部分核对，是目前最好的证据。

深入长尾：最后的一万分之一1 分钟

为什么从「快好了」到「真好了」要这么久？

一辆车行驶一百万公里，会遇到几乎所有常见的路况。但「几乎所有」不是「所有」。一只鹅从路边走出来，一个穿着反光服躺在地上的工人，一辆载着交通锥的卡车（车认为那些锥是路障），一个红绿灯被树枝挡住一半，一个在路中间指挥交通的人。每一种都罕见到一百万公里遇不到一次，但加起来，每几千公里就会遇到一种。这叫「长尾」。

第五章讲的抽样偏差在这里的形式是：训练数据来自已经开过的路，而事故发生在没开过的情况里。你不能靠开更多的路来穷尽长尾，因为长尾是无限的。行业的办法是三管齐下：用仿真生成罕见场景，把每一次接管和险情变成新的训练数据（数据闭环），以及用规则在模型之外定义「不管发生什么都不能做的事」。

这一段对任何高风险 AI 都适用。医疗诊断、金融风控、司法辅助，同样是常见情况已经做得很好，罕见情况决定能不能真的交给它。判断一个高风险 AI 系统时，不要问它的平均准确率，问它在长尾上怎么办。

深入数据闭环：一辆车怎样让全部车变聪明1 分钟

自动驾驶公司最重要的资产不是模型，是数据闭环。

每辆车上的系统在遇到「不确定」的情况时（模型的预测分歧大、人突然接管、急刹车、乘客投诉），会把那几秒的传感器数据标记并上传。云端把这些片段聚合，用「影子模式」（新模型在车上默默运行、和人的操作对比）筛出最有价值的部分，人工标注，加入训练集，训练出新模型，在仿真里回归测试，再推送回车队。这个循环每周甚至每天转一次。

它的威力在于规模：一百万辆车每天遇到的罕见情况，比一百辆车一年遇到的多得多。这也是为什么车队规模成了竞争的核心，为什么有的公司让消费者的车为它收集数据。它的代价是隐私（车在记录街上的每个人），以及第五章讲的另一个问题：数据来自「模型觉得不确定」的时刻，而模型不知道自己不知道的情况，永远不会被上传。

深入仿真：在虚拟世界里开几十亿公里1 分钟

真实路测太慢、太贵、太危险，行业把大部分测试搬进了仿真。

仿真器重建道路、交通、天气和其他参与者的行为，自动驾驶系统在里面「开」，每天可以跑几千万公里。关键的是可以故意制造罕见场景：把那只鹅放在每一个路口，把每一个红绿灯挡住一半，让每一个行人在最坏的时刻横穿。2023 年之后，生成模型让仿真场景从「人工设计」变成「从真实数据生成变体」，一个真实的险情可以衍生出一万个相似但不同的版本；「世界模型」进一步让仿真器本身由神经网络生成，画面和物理都从驾驶视频里学出来。

仿真的局限是第五章的老问题：仿真和现实之间也有分布偏移。在仿真里表现完美的系统，可能被现实里一种从没模拟过的反光骗过。所以仿真不能替代路测，只能让路测更有针对性。这个关系和第九章讲的合成数据一模一样：有用，但必须与真实混合。

分级，与 L2 的陷阱

「自动驾驶」这个词覆盖了差别极大的东西，行业用一套分级来区分。

级别	谁负责	意思
L2	人	车能同时控制方向和速度，但人必须随时监控。今天绝大多数「智能驾驶」在这一级
L3	有条件的车	在特定条件下（高速、堵车）车负责，需要时提前几秒请人接管
L4	车（限定区域）	在划定的区域内完全无人，区域外不工作。无人出租车在这一级
L5	车（任何地方）	任何道路、任何天气。目前不存在

L2 和 L4 之间的鸿沟，是这个领域最重要的事实。L2 系统在 99% 的时间里表现得像 L4，这恰恰是危险所在：人会放松警惕，而系统在那 1% 里需要人。心理学上这叫「自动化自满」：系统越可靠，人越不看路，而越不看路，接管时的反应越慢。多起事故的调查结论都是「系统按设计工作，人没有按设计监控」。第十四章讲的「人在回路」，在这里有生死的分量，也有一个悖论：一个需要人随时监控的系统，恰恰会让人无法监控。

L3 试图用「提前几秒请人接管」解决它，但几秒够不够一个正在看手机的人回到路况里，是一个至今有争议的问题。这也是为什么很多公司选择跳过 L3，直接做有人负责的 L2 或没有人的 L4。

没有安全员，但有人

无人出租车的车里没有人，但公司里有。当车遇到它处理不了的情况（施工绕行、交警手势、被卡在一个它不敢过的路口），它会停下来请求远程协助：一个坐在运营中心的人看着它的摄像头画面，在地图上画一条路或者点一个「可以过」，车再继续。远程的人不直接开车（延迟太大），只提供判断。

这个设计把第十四章的分工表落到了实处：车做它能做的（99.9% 的路况），人做需要判断的（剩下的），而且人只在被问到时介入，不需要盯着。一个远程协助员可以照看几十辆车。它也是本篇最值得记住的一个事实：2026 年的「无人驾驶」不是没有人，是把人从驾驶座挪到了一个更有效的位置。

五、中国的路线

中国是这个领域和美国并列的另一个中心，路线有几点不同。

量产先行。美国的无人驾驶由科技公司和无人出租车主导；中国的重心在量产乘用车的辅助驾驶：2023 到 2025 年，多家车企把城市领航功能作为核心卖点，激光雷达、大算力芯片和「无图」方案在二十万元级车型上迅速普及，装车量以百万计。这让中国的车队数据规模在几年内成为世界最大之一，也让「智驾」成了汽车营销里最热的词，直到监管在 2025 年要求把话说清楚。

无人出租车的规模。百度从 2017 年开放 Apollo 平台起投入，萝卜快跑在武汉的运营是全球最大的单城市部署之一；小马智行、文远知行在北京、广州、深圳运营并在海外上市。中国城市的道路更复杂（电动自行车、行人、混合交通），这既是难度也是数据。

车路协同。中国独有的一条线：在路口装传感器和通信设备，把路的信息发给车，让车「看到」被遮挡的东西。它的逻辑是基础设施可以由政府统一建设；它的难点是覆盖成本和标准统一，到 2026 年仍在示范阶段，主流方案仍以单车智能为主。

监管与就业。2024 年武汉的公开讨论第一次把「无人车会不会替代司机」变成了社会议题；2025 年的宣传规范和年底的 L3 准入，标志着监管从「允许试」转向「明确责任」。这些是第十四章讲的「谁来兜底」在国家层面的版本。

六、伦理：真正的问题不是电车难题

谈到自动驾驶的伦理，最常被提起的是「电车难题」：车该撞老人还是撞孩子？这个问题在工程上几乎不存在。车在那种情况下没有时间也没有信息做这种判断，它只会做一件事：在物理上尽可能减速，同时不撞任何被感知到的东西。真正的伦理问题在别处。

责任。L2 事故的责任在人，L4 的在公司，L3 在中间，而「中间」正是法律最难处理的地方。保险、事故认定、召回制度都在重写。

数据与隐私。一辆车每天记录街上每一个人，这些数据在谁手里、保存多久、用来做什么，是第十四章数据备忘的城市版本。

就业。出租车和货运司机是许多国家最大的职业群体之一。技术能否替代他们已经不是问题，问题是多快，以及过渡期的人怎么办。第十四章讲的「任务而非职业」在这里的形式是：驾驶这个任务会被替代，而服务、维护、远程协助、调度是新的任务，但它们不一定属于同一批人。

公平。无人出租车先在哪些城市、哪些街区运营，谁能负担，事故率是否在所有路况和人群上一致，这是第五章公平性那段的直接应用。

城市。如果出行变得便宜到不需要私家车，城市的停车场、路面、通勤模式都会变。这超出了本课的范围，但它提醒我们：一个 AI 系统的影响，最终在它的技术之外。

七、它教给我们的

自动驾驶是这门课几乎所有原理的一次集中演练：四种能力、表示学习、分布偏移、长尾、规则与网络的组合、人在回路、数据闭环、合成数据。它也是一个关于「预期」的教训：2016 年的承诺基于「常见情况已经做得很好」，而真正的难点从来在罕见情况和「多安全才算够」这个没有技术答案的问题上。

下一次听到某个 AI「已经超过人类」，可以问三个从这里学来的问题：在什么分布上超过？长尾怎么办？出错时谁接管、谁负责？

自测先自己想，再点开答案

1. 自动驾驶的四层里，哪一层几乎不用机器学习？为什么？

   答案

   控制层。把轨迹变成方向盘和油门是成熟的控制理论问题，有精确的物理模型，不需要从数据里学。

2. 为什么预测的输出是「几种未来和概率」而不是一条线？

   答案

   人的意图本来不确定，而且未来是交互的：路人过不过取决于我让不让，我让不让取决于他过不过。规划必须对所有可能的组合都安全。

3. 「每次接管的里程」为什么不是一个好的安全指标？

   答案

   接管标准和测试路况各家不同，它衡量的是系统「觉得自己不行」的频率，不是出事的频率。真正的指标是分严重程度的每百万公里事故率，与同路况人类司机比较，但统计上需要的里程极大，所以要用真实里程、仿真和逐案分析的组合证据。

4. 为什么 L2 系统在 99% 的时间表现像 L4 反而危险？

   答案

   人会因此放松监控（自动化自满），而系统在那 1% 里恰恰需要人接管。一个需要人随时监控的系统，会让人无法监控。

5. 「无人出租车」里真的没有人吗？

   答案

   车里没有，公司里有：车处理不了时停下来请求远程协助，远程的人提供判断而不直接驾驶，一个人可以照看几十辆车。人被挪到了更有效的位置，而不是消失。

6. 「开更多的路」能不能解决长尾问题？

   答案

   不能穷尽。长尾是无限的罕见情况。行业靠仿真生成、数据闭环和模型外的规则底线三管齐下，而不是只靠里程。