Token 与 Embedding

AI 只能计算数字，看不懂中文汉字、词语。一段文字输入大模型，必须经过两道核心工序：

1. 分词：把句子拆成最小处理单元「词元（Token）」，给每个词元分配专属数字编号；
2. 嵌入：把数字编号转化为一组多维数字（向量），让 AI 分辨词语意思、词语之间的远近关系。 分词 + 嵌入是人类语言和 AI 数学运算的桥梁，直接影响 AI 回答效果、调用费用、单次能处理的文字长度。

一、分词 Tokenization：把文字拆成小块

1. 定义

分词就是将完整句子切割成Token（词元），Token 是 AI 运算、接口计费的最小单位，不等于单字或完整词语，主流采用子词（BPE/WordPiece）拆分算法。

三种拆分方式对比

比如：这项技术突破彻底革新人工智能研发

1）按单个字符拆分（极少使用，效率极低）

拆分结果：这、项、技、术、突、破、彻、底…… 数十个小块

缺点：拆分碎片过多，计算量大、扣费更贵

2）按完整词语硬性拆分（死板，无法处理新词、网络词）

拆分结果：["这项","技术突破","彻底","革新","人工智能","研发"]

缺点：遇到自创新词、网络热词直接识别失败，标记为未知字符

3）子词拆分（所有主流大模型通用最优方案）

拆分逻辑：高频长词整体保留，低频 / 复合词拆成常用片段

示例：「智能化」拆分为「智能」+「化」；「碳中和」拆分为「碳」+「中和」

原句拆分示例：["这项","技术","突破","彻底","革新","人工","智能","研发"]

优势：不用无限扩充词库，新组合词汇靠片段拼接识别

2. 词表大小的取舍

词表 = 模型内置可直接识别的全部 Token 清单，分两类：

• 小词表（约 3 万）：长词会拆成多段，节省模型内存，但文字总 Token 数变多、费用更高 例子：生僻词「熵增定律」会拆成「熵」+「增」+「定律」，占用 3 个 Token
• 大词表（5 万～10 万，GPT、国产大模型标配）：高频固定词汇直接作为 1 个 Token，节省上下文空间 例子：「人工智能」「大数据」这类高频词，完整算作 1 个 Token

3. 分词直接决定 AI 调用费用

服务商按 Token 数量收费，中文消耗 Token 普遍比同等长度英文更多：

比如：两段各 500 字文案，英文约 600Token，中文约 1200~1800Token；相同调用次数下，中文成本接近英文 2 倍。

4. 分词导致 AI 常见理解 bug

①文字计数任务容易出错

需求：让 AI 数「草莓冰淇淋」一共几个汉字

拆分结果：「草莓」+「冰淇淋」，AI 识别的是两个词元，容易误判总字数。

②小众生僻字、古文 Token 消耗暴增

例句：古文「壬戌之秋，七月既望」

生僻古汉字「戌、壬、望」都会单独拆成单个 Token，短短一句话 Token 数量远超现代白话文。

③代码、数字、符号识别不稳定

示例 1：算式x ≠ 99

不同模型拆分不一样，有的拆成 ["x","≠","99"]，有的拆成 ["x","≠","9","9"]，计算推理容易出错；

示例 2：小数「3.1415」和「3.14」，前者拆分 Token 更多，虽然数值相等，但 AI 计算精度会出现细微偏差。

5. 分词省钱实操技巧

冗余版本：请你全面、详细、完整地解释一下这个概念（Token 多）

精简版本：详细解释该概念（Token 大幅减少）

长期批量调用时，成本差距会非常明显。

二、嵌入 Embedding：把文字转数字，让 AI 读懂语义

1. 定义

分词得到的只是一串数字编号，数字本身没有含义；嵌入会把每个 Token 转化为一组多维数字（向量），相当于给每个词语分配一套「语义坐标」。

规则：意思相近的词，坐标距离更近；无关词语距离很远。

比如：「国王」的向量坐标，和「君主、皇帝」距离很近，和「自行车、米饭」距离极远。

2. 静态嵌入 vs 上下文嵌入

静态嵌入和上下文嵌入是现代大模型的核心区别

1）静态嵌入（旧技术）：同一个词语永远只有一套固定向量，分不清多义词

例子：「苹果」只有一组数字，无法区分「水果苹果」和「苹果手机」；

2）上下文嵌入（现在所有大模型使用）：根据句子语境动态改变向量，完美区分一词多义

例句 1：我去超市买苹果 → 「苹果」向量代表水果；

例句 2：我新买一台苹果电脑 → 「苹果」向量代表电子产品。

3. 注意力机制：上下文嵌入的底层原理

句子里每个词会自动关注相关词汇，修改自身向量，理解完整语义

例句：小猫趴在地毯上 词「趴」会重点关联主语「小猫」、地点「地毯」，调整向量，读懂完整场景。

4. 模型分层向量的不同作用

文字经过模型多层运算，每层向量承载信息不同：

• 浅层：掌握语法、词语搭配（适合病句修改、文案纠错）
• 中层：分辨词语语义相似度（适合文章检索、内容自动分组）
• 深层：处理复杂逻辑、专业推理（适合问答、解题、方案分析）

5. 嵌入四大实用落地场景

①语义搜索（不靠文字匹配，靠含义匹配）

传统搜索只匹配一模一样的文字；语义搜索对比向量相似度，数值越高内容越相关。

例子：搜索需求「便宜家用代步车」，能匹配文章「经济实惠家用电动车」，文章没有「便宜」二字也能精准搜到。

②文本自动分类 / 聚类

例子：客服上万条留言，系统自动根据向量分成三类：账单问题、功能故障、使用建议，不用人工手动打标签。

③RAG 知识库问答（防止 AI 凭空胡说）

完整流程：用户提问→问题转为向量→匹配知识库相似文档→把文档交给 AI 再回答

例子：询问公司员工考勤制度，AI 先检索内部规章制度文档再作答，不会编造不存在的规则。

④内容个性化推荐

例子：短视频文案、公众号文章生成向量，系统给你推送语义相近、符合你喜好的内容。

6. 向量维度的选择取舍

• 低维向量（384/768 维）：占用存储空间小、搜索速度快，轻微丢失细微语义（适合海量文章、海量商品库）
• 高维向量（1024/1536 维）：能分辨细微语义差别，存储、计算成本翻倍（适合高精度专业检索）

7. 嵌入实操优化技巧

1）向量缓存：文章第一次生成向量后存入向量数据库，后续搜索直接读取，不用重复计算

例子：企业内部一万篇文档，仅首次计算向量，之后检索无需重复运算，节省算力与费用；常用工具：Milvus、Pinecone 向量数据库。

2）专用嵌入模型优先：做文本相似度、检索任务，优先使用专门训练的中文嵌入模型，效果比通用大模型更好。

三、分词与嵌入的联动关系（二者缺一不可）

1.分词的拆分粗细，直接影响嵌入的理解难度

细粒度拆分（拆成大量单字、短片段）：嵌入需要组合多个片段理解完整词义

例子：「不」+「开心」，模型依靠向量叠加，理解整体含义「心情不好」；

粗粒度拆分（完整词语作为 Token）：向量直接承载完整词义，但遇到生僻新词会标记为未知符号，丢失语义。

2.模型训练时分词规则、向量数值同步优化，高频搭配词语的向量会自动适配，冷门组合更容易理解出错。

四、零基础落地优化清单

分词优化

1. 撰写提示词尽量精简，删掉多余修饰词，减少 Token 消耗；
2. 古文、生僻字、代码场景，选用专门优化中文的分词模型；
3. 正式上线前统计文本 Token 数量，预估每月调用成本。

嵌入优化

1. 全部文档向量缓存复用，避免重复计算；
2. 根据业务数据量，选择合适维度的向量；
3. 检索、分类类业务，使用专用中文嵌入模型。

日常监控

1. 每日统计 Token 消耗，控制使用成本；
2. 定期查看向量检索匹配结果，判断搜索是否准确；
3. AI 回答出错时，排查底层分词拆分错误、向量语义偏差问题。

五、总结

1. 分词（Tokenization）：把中文句子拆成 AI 能识别的最小词元，决定调用费用、单次可处理文字长度，拆分缺陷会造成 AI 计数、识别出错；
2. 嵌入（Embedding）：将词元数字转化为语义向量，让 AI 读懂词语含义、区分多义词，支撑语义搜索、知识库问答、内容分类等几乎所有 AI 应用；
3. 分词 + 嵌入串联构成 AI 处理中文的基础流程，弄懂底层逻辑，既能看懂 AI 各类奇怪错误，也能降低使用成本、写出效果更好的提示词。