模型长出了眼睛和手

2024 年前后，生成的图片、语音和视频跨过了一条线：普通人在普通情境下已经分不出真假。一段十秒的语音足以克隆一个人的声音，一张照片足以生成这个人做任何事的视频。这在诈骗（冒充亲属或领导的电话）、名誉（伪造的不雅影像）和公共信息（伪造的政治人物发言）上都已经造成了真实的伤害。

技术上的应对有两条线。一是水印与来源标记：生成工具在输出里嵌入人眼看不见但机器能检测的标记，或者在文件的元数据里记录「这是由什么工具、在什么时候生成的」，并用加密签名防止篡改。行业在 2024 年前后开始推动统一标准，主流的生成工具和相机厂商陆续加入。二是检测：训练模型去识别生成内容的统计痕迹，但这是一场猫鼠游戏，检测器的可靠性始终落后于生成器。

比技术更根本的是习惯的改变。「有图有真相」在三十年前就已经不完全成立，现在则需要被彻底放弃。对一段影像的信任，要从「它看起来真不真」转向「它从哪来、谁发的、有没有可验证的来源链」。这和第十章对文字的态度是一致的：信任来源，而不是信任形式。对教育者来说，这可能是这个时代最重要的一条媒介素养。

把「一切都是 token」说得再具体一点。一张 448×448 的图片，切成 16×16 像素的小方块，得到 784 块。每一块的像素值（16×16×3 = 768 个数字）经过一个线性变换，变成一个和文字 token 同样维度的向量。于是这张图在模型眼里就是 784 个「视觉 token」，与文字 token 排在同一个序列里进入 Transformer。

接下来发生的事和第八章完全一样：注意力让文字 token 可以「看」视觉 token。当你问「图里穿红衣服的人在做什么」，「红衣服」这几个 token 的查询会和那些颜色偏红的方块的键高度匹配，权重集中过去，然后模型基于这些方块的值生成回答。事后可视化注意力，确实能看到文字和图像区域之间的对应。

这种设计有几个可以观察到的后果。一，视觉 token 很贵：一张图相当于几百到上千个文字 token，所以带图的对话消耗上下文很快。二，分辨率是一种权衡：切得细看得清，但 token 更多；很多模型会先看一张缩略图，再按需放大局部。三，模型对图里的文字（比如一张试卷照片）的识别，本质上也是注意力在做，不是一个单独的 OCR 模块，所以它可能把模糊的字「脑补」成最像的词，那是第十章的幻觉换了一种形态。

视频是图像序列加时间维度，token 数再乘以帧数，所以长视频理解至今仍是最吃算力的任务之一。音频则常被切成几十毫秒的片段，各自变成 token，思路完全相同。

让机器「说」有两条历史悠久的路线，它们在 2024 年前后汇合了。

级联路线：语音识别把声音变成文字，语言模型处理文字，语音合成把文字变回声音。三个模块各自独立，好处是每一段都可以单独替换和检查，坏处是信息在中间丢失：语气、犹豫、笑声、背景里的另一个人，都在「变成文字」那一步没了。回答的语音也是从文字生成的，它不知道你刚才是在哭还是在笑。

端到端路线：一个模型直接从声音的 token 到声音的 token，文字只是可选的中间产物。它能听出语气并用相应的语气回答，能被打断，延迟低到接近人类对话的节奏。它的代价是训练数据：需要大量成对的对话语音，而且模型内部发生了什么更难检查。

今天的产品多是两者的混合：端到端处理对话的实时部分，级联部分负责需要精确文字的任务（记录、搜索）。对使用者最直接的变化是语音克隆：几秒钟的样本足以复制一个人的声音、语气和口音。本章「眼见为实结束之后」那段讲的风险，在声音上来得比图像更早、更普遍，因为电话诈骗只需要声音。

每接一个工具都要写一套定制代码，是 2023 年智能体开发的常态，也是它难以推广的原因。2024 年底，一个开放协议（模型上下文协议，MCP）提出了一种标准做法：任何工具用一种统一的格式描述「我能做什么、需要什么参数、返回什么」，任何支持这个协议的模型客户端都能直接接入它，不需要为每个组合单独开发。这有点像 USB 接口对硬件做的事。协议随后被交给中立的基金会管理，一年多里出现了数以万计的工具服务器。

在协议之上还出现了「技能」的概念：把一项复杂工作的操作步骤、注意事项和示例打包成一份说明书，模型在需要时读取它。这让专家经验可以被写下来并复用，一份「怎样按本校规范批改作文」的技能文件，可以让任何一个通用模型按同样的标准工作。

对非开发者的含义是：接入一个新工具的门槛在迅速降低。学校的教务系统、图书馆的检索、实验室的仪器，只要有人为它写一个协议服务器，所有支持协议的助手都能使用它。同时，安全的边界也随之移动：一个技能文件或工具描述里可能藏着恶意指令，下一节讲这件事。

成熟的智能体产品几乎都是以下四种模式的组合。认出它们，你就能大致看懂一个智能体产品的内部结构。

反思：让模型审查自己的输出。写完一段代码后，再以「审查者」的身份读一遍，找错误，然后修改。这是第十章「让它批评自己」的自动化版本，成本低、收益稳定。

工具：本章讲的工具调用。模型在需要时查资料、算数、跑代码、读文件，而不是凭记忆硬答。它把模型不擅长的事（精确计算、最新信息、大规模检索）交给擅长的程序。

规划：先把大任务拆成步骤，再逐步执行，执行中根据结果调整计划。第九章的思维链是它在单次回答里的形式；在智能体里，计划可以写成一个待办清单，完成一项划掉一项。

多智能体：让几个模型各司其职，一个负责搜集、一个负责写作、一个负责审校，彼此传递结果。它模仿的是人类团队的分工，好处是每个角色的提示可以更专注，坏处是错误会在传递中累积，而且成本按角色数倍增。

四种模式都不涉及新的模型能力，它们是在模型外面搭的「脚手架」。这意味着同一个模型，配上不同的脚手架，能力可以差别很大；也意味着当模型本身进步时，一些脚手架会变得不必要。

把抽象的「工具调用」落到字面上。下面是一个智能体查天气的完整往返，格式简化过，但结构是真实的。

首先，开发者告诉模型有哪些工具，用一种结构化的描述：

工具：get_weather
说明：查询某个城市当天的天气
参数：city（字符串，城市名）

用户问「明天上海会下雨吗？」。模型生成的不是一段文字回答，而是一个结构化的调用请求：

调用 get_weather，参数 {"city": "上海"}

程序（不是模型）看到这个请求，真的去调用天气接口，把结果贴回对话：

工具返回：{"city": "上海", "tomorrow": "小雨", "temp": "22-27"}

模型看到返回值，这时才生成给用户的回答：「明天上海有小雨，气温 22 到 27 度，记得带伞。」

几件值得注意的事。模型从头到尾没有「访问互联网」，它只是输出了一段格式化文字，访问是程序做的。模型能正确调用，是因为微调时见过大量这样的例子，学会了「什么时候该调用、参数怎么填、返回值怎么读」。工具的「说明」是给模型读的自然语言，写得好坏直接影响调用的准确性，这是第十四章提示原则的另一种应用。最后，返回值是模型读到的外部内容，如果它来自不可信的来源（比如一个网页），里面可能藏着指令，这就是提示注入进入的门。

第十一章「工具的接口」那段讲的协议，规范的就是上面这几段文字的格式，让任何工具和任何模型都能用同一种方式对话。

到 2026 年，智能体产品大致有四种形态，它们的能力、风险和成熟度差别很大。

编程智能体：在开发者的编辑器或终端里工作，能读改代码、跑测试、提交改动。最成熟，因为反馈最清晰。本站就是用这类工具写的。

浏览器与电脑操作智能体：看屏幕截图，模拟点击和键盘输入，替你在网页上填表、订票、比价。它不需要网站提供接口，所以能覆盖最多的场景，但也最脆弱：网页改版就失效，而且它「看」到的一切网页内容都可能注入指令。

个人助理：接入你的邮箱、日历、文件和聊天软件，通过消息交代任务，后台持续执行。它最像科幻里的「数字秘书」，也最需要权限，因此风险最集中。2026 年初有一类这样的产品短暂出圈，随后很多用户发现它「强大但难养、难管、难放心」，本站随课第四讲（下）的幻灯片里记录了这段起落。

企业工作流智能体：嵌在企业系统里，处理客服、单据、报表这类有明确流程的任务，权限受控、有审计日志。它最不显眼，但可能是实际产生最多经济价值的一类。

四种形态的排序也是「反馈清晰度」的排序：代码有测试，工作流有规则，浏览器和个人助理面对的是开放世界。当你评估一个智能体产品，先问它工作在哪种环境、错误怎样被发现、谁来兜底。