文字怎样变成数字

用一个小例子走一遍算法。假设语料里有这些词（后面是出现次数）：low 5、lower 2、newest 6、widest 3。先把每个词拆成字符，并在词尾加一个标记：

l o w </w>        5
l o w e r </w>    2
n e w e s t </w>  6
w i d e s t </w>  3

统计所有相邻字符对的出现次数：e s 出现 9 次（newest 6 + widest 3），最多，于是合并成 es。再统计：es t 出现 9 次，合并成 est。再来：est </w> 9 次，合并。然后是 l o 7 次，合并成 lo；lo w 7 次，合并成 low。

几轮之后，词表里多了 low、est</w> 这些片段。此时 lowest 这个语料里从未出现的词，也能被切成 low + est</w> 两个有意义的单元，而不是六个字母。这就是 BPE 的妙处：它在「词表小」和「单元有意义」之间找到了一个由数据决定的平衡点，而且对新词有很强的适应力。

真实模型的词表由几万到二十万次这样的合并得到。合并的顺序就是分词的规则，所以同一个模型的分词是确定的、可复现的，本站的实验用的就是几个真实模型的合并表。

大模型的服务按 token 计费，输入和输出分开算，输出通常贵几倍。理解了分词，就能建立数量感。

一段一百字的中文，在对中文友好的分词器下大约一百二十个 token，在不友好的分词器下可能两百个。一本三十万字的小说，大约四十到六十万个 token，装不进大多数模型的窗口，所以「把整本书发给它总结」在很多产品里其实是先切成几段分别处理。一次带着二十轮历史的对话，每发一句新话，整个历史都要作为输入重新送进去（模型没有记忆，第十章会讲），所以对话越长，每一轮越贵，这是产品限制对话长度或自动摘要历史的原因。

另一个后果是语言之间的不平等。同样一句话，英语用的 token 最少，中文、日文次之，很多小语种要三到五倍。这意味着用同一个模型，非英语用户支付更多、能装进窗口的内容更少，而且模型在训练中见到的非英语 token 也按比例更少。近几年的模型在扩大词表、改善多语言分词，差距在缩小，但没有消失。

当你在为一个班级、一所学校设计 AI 应用时，这些数字会直接变成预算。一个简单的估算法：每次调用的输入 token 数乘以调用次数，再乘以每百万 token 的价格。

英文有天然的分隔符：空格。中文没有。这在分词之前就是一个问题：「南京市长江大桥」可以切成「南京市 / 长江大桥」，也可以切成「南京 / 市长 / 江大桥」。传统的中文信息处理花了几十年在这个问题上，词典、统计模型、序列标注，都是为了先把词切对。

BPE 绕过了这个问题，方法是不再假设「词」存在：它只按字节统计共现，切出来的单元可能是一个字、一个常用词、甚至半个字（一个汉字的 UTF-8 编码是三个字节，如果某个字不常见，它可能被拆成字节碎片）。这让模型「不认识」任何字的情况消失了，代价是模型看到的中文是一种人不熟悉的切法。

具体的数字取决于词表。GPT-2 时代的词表几乎没有为中文优化，一个汉字平均要两到三个 token；2023 年之后的词表普遍扩大到十几万到二十几万，并加入了大量中文语料训练，常用汉字和常见词多数成了单个 token，中文的「token 效率」已接近英文。国产模型的词表在这一点上通常做得更好，因为它们的训练语料里中文占比高。

一个可以在分词实验里验证的小事实：同一句话，用「对中文友好」和「不友好」的词表分别切，token 数可以差一倍。这个差别会直接变成成本和上下文窗口的差别。

上下文窗口的大小在五年里增长了一千倍，它改变了模型能做的事。

窗口变大靠三件事：注意力计算的工程优化（第八章说过计算量随长度平方增长，这个问题被各种技巧缓解），位置编码的改进（让模型能处理训练时没见过的长度），以及更多的显存。

但窗口大不等于用得好。研究发现模型对长上下文中间部分的注意力常弱于开头和结尾，「大海捞针」式的测试里，关键信息埋在中间时被漏掉的概率更高。而且窗口不是记忆：每一轮对话，整个窗口都要重新计算，越长越贵、越慢。所以在实践中，「把所有材料都塞进去」往往不如「先检索出相关的几段再放进去」，那就是第十章的检索增强生成。

两个向量是否「相似」，最常用的度量是它们夹角的余弦：方向完全一致时为 1，垂直时为 0，相反时为 −1。用夹角而不是距离，是因为向量的长度往往和词频有关，而我们关心的是方向。

$$\cos(\theta) = \frac{\vec a \cdot \vec b}{|\vec a|\,|\vec b|}$$

这个简单的度量支撑了今天大量的应用。语义搜索：把文档和查询都变成向量，返回余弦最大的文档，于是搜「怎么让孩子爱上阅读」能找到一篇标题是「培养阅读习惯的五个方法」的文章，尽管没有一个词相同。推荐：把用户的历史行为和商品都变成向量，推荐方向接近的。检索增强生成（第十章会讲）：先用向量找出相关资料，再让模型基于资料回答。手机相册搜图：把图片和文字变到同一个向量空间，第六章开头那个问题的完整答案就在这里。

理解了「意义即几何」，你也就理解了它的局限：向量只反映训练语料里的共现，语料里的偏见会被忠实地编码进去。早期的词向量里，「医生」离「男人」比离「女人」近，「护士」则相反。这不是模型的观点，是语料的统计；但它会通过模型影响下游的每一个应用。

既然文本、图片、用户都可以变成向量，「找最相似的」就成了一个基础操作。一个知识库有一百万段文字，每段一个几千维的向量，用户提问时要在一百万个向量里找出最接近的十个。逐个算余弦相似度太慢，于是有了专门的数据结构和系统，通常叫向量数据库。

它们的核心是「近似最近邻」算法：不保证找到绝对最近的，但能在毫秒内找到足够近的。常见做法是把向量空间分区、建成图或树，查询时只在少数分区里比较。这是一个纯工程问题，但它决定了第十章检索增强生成的响应速度，也决定了相册搜图、语义搜索、推荐系统能否实时。

对使用者的含义：当有人说「我们把 AI 接到了自己的知识库上」，背后大概率是「把文档切成段，每段算一个向量，存进向量数据库，提问时先检索再让模型回答」。这条流水线的质量取决于三个环节：文档怎样切段（太长会稀释，太短会失去上下文），用什么模型算向量（决定「相似」的含义），以及检索出来的段落怎样喂给模型。出问题时，先查这三处，再怀疑模型。