🔤 Tokenizer 拆词实验室

🧩 什么是 BPE 分词？

🔍 预分词（Pre-tokenization）

BPE 不是直接对整个文本做合并 — 那样计算量太大。实际流程是先用正则表达式将文本切成若干"块"（chunk）， 然后在每个块内部独立做 BPE。这个正则模式决定了哪些字符会被"粘在一起"。

为什么不直接按"词"分？ 因为英文还好（空格分词），但中文没有天然分隔符， 阿拉伯文从右往左写，泰文没有空格…… BPE 的字节级方案天然支持所有语言和特殊字符（包括 emoji）， 这就是"字节对编码"名字的由来。

💾 UTF-8 编码与字节

BPE 的最小单元是字节（byte），而不是字符。不同字符在 UTF-8 中占用不同数量的字节：

这解释了为什么早期 GPT-2 对中文不友好：一个中文字在 UTF-8 中占 3 字节，如果词表没有常用中文合并，就会拆得很碎。 但现代 tokenizer 和不同厂商模型已经大幅改变了这个结论。悬浮/点击实时拆词里的 token 标签可以查看其 ID 和字节表示。

🔧 BPE 编码算法详解

给定一段文本和训练好的 BPE 词表，编码过程如下（这正是本页 JS 代码中 _bpe() 函数的实现）：

function bpe_encode(text, vocab):
    // 第一步：将文本转为 UTF-8 字节序列
    parts = [b for b in utf8_bytes(text)]

    // 第二步：反复查找并合并优先级最高的相邻对
    while len(parts) > 1:
        best_rank = ∞
        best_i = -1
        for i in range(len(parts) - 1):
            merged = parts[i] + parts[i+1]
            rank = vocab.get(merged, ∞)
            if rank < best_rank:
                best_rank = rank
                best_i = i
        if best_i == -1:
            break  // 没有可合并的对了
        // 合并
        parts[best_i] = parts[best_i] + parts[best_i+1]
        parts.remove(best_i + 1)

    return parts  // 每个元素就是一个 token