多向量嵌入模型在检索、RAG、语义匹配这类场景里越来越常见。很多人已经用 Sentence Transformers 跑过句向量但单向量模型把整句话压成一个固定向量遇到“局部关键词精确匹配”或“细粒度证据比对”的场景效果容易不够。多向量嵌入模型的核心思路是让每个 token 都保留一个向量再通过 late interaction 计算相似度这样既能保持语义理解又能保留细节匹配能力。这篇文章直接用 Sentence Transformers 的完整训练链路讲清楚数据准备、loss 选择、训练脚本、LoRA 微调、评估方式和显存观察方法。开头先把关键结论摆出来训练多向量嵌入模型并没有想象中复杂。你不需要从零写一个 transformer也不需要自己实现完整对比学习框架。只要准备好事例数据选对损失函数用 Sentence Transformers 的训练器就能跑通。难点主要在数据格式、多向量 Output 的处理方式、以及显存控制。本文会覆盖以下实操内容环境安装与模型加载、pair / triplet / jsonl 数据集构造、MultipleNegativesRankingLoss 等常用 loss、SentenceTransformerTrainer 训练脚本、LoRA 低资源微调、InformationRetrievalEvaluator 评估以及推理阶段的 late interaction 计算思路。1. 核心能力速览能力项说明项目类型嵌入模型训练 / 微调框架核心库Sentence Transformers基于 PyTorch / Transformers解决的问题文本嵌入、语义检索、RAG 召回、句子相似度支持模型类型单向量模型、多向量模型ColBERT 式 late interaction主要功能训练、微调、评估、推理、批量编码支持的微调方式全量微调、LoRA 等参数高效微调训练数据形式Pair、Triplet、Jsonl 数据集常用损失函数MultipleNegativesRankingLoss、CachedMultipleNegativesRankingLoss、对比损失等硬件要求推荐 NVIDIA GPU支持 CPU 推理训练建议 GPU显存占用取决于模型规模、max_seq_length、batch_size需要按实际配置测试API 调用推理时可直接用 Python 接口批量 encode支持接 FastAPI 包装适合场景语义检索、RAG 召回、去重、推荐召回、多语言匹配从核心能力看这套方案适合两类人一类是已经用 sentence-transformer 模型做检索但想把模型换成多向量版本进一步提升局部匹配能力另一类是手里有一批业务标注数据想通过微调让通用模型适配自己的垂类场景。2. 多向量嵌入模型与 Sentence Transformers 的关系2.1 单向量与多向量的区别常规句向量模型例如 bge、m3e、e5 这类模型把输入句子编码成一个固定维度的向量。做相似度计算时通常算两个向量之间的余弦相似度或点积。优点是速度快、占用低、方便构建向量索引。缺点是整句信息被压缩到一个向量里如果两个句子只在某个关键片段上重合单向量模型可能把这种局部匹配信号弱化。多向量嵌入模型不一样。以 ColBERT 为代表输入句子经过编码器之后每个 token 位置都输出一个向量不再做全局池化。查询侧和文档侧分别保留一组 token 向量相似度计算改用 late interaction对查询中的每个 token 向量去文档 token 向量里找最相似的一个再把所有查询 token 的最相似得分累加。这种设计的价值在于文档中的关键实体、术语、上下文片段都能在 token 级别参与匹配而不是被句向量平均掉。2.2 Sentence Transformers 在其中的位置Sentence Transformers 是一个训练和推理嵌入模型的框架。它的上层 API 提供了统一的模型管理、数据集封装、loss 封装、训练器和评估器。多向量模型虽然输出结构和单向量不同但训练流程仍然可以复用这套框架模型用 Hugging Face Transformer 兼容的权重加载。训练数据用datasets.Dataset封装。训练器负责 batch、梯度累积、学习率调度、保存 checkpoint。评估器输出 MRR、Recall、NDCG 等指标。所以文章标题里的“用 Sentence Transformers 训练与微调多向量嵌入模型”实际落地路径就是加载一个多向量结构的编码器组织好训练样本选一个适合对比学习的 loss再用标准训练器跑微调。3. 适用场景与使用边界3.1 适合的场景多向量嵌入模型最适合以下任务语义检索召回查询和文档长度差异大需要在文档内部找精确证据片段。RAG 系统需要从知识库中召回与问题最相关的段落多向量在细节匹配上更有优势。去重与相似内容识别内容局部相似但整体不同的场景多向量能捕捉重复片段。重排任务多向量可以作为一个额外的信号来源和词法匹配、单向量语义匹配一起做融合排序。3.2 不适合的场景多向量模型不适合所有场景。如果业务强调极低延迟比如每毫秒处理大量查询多向量计算成本会明显高于单向量。如果文档都是短句单向量已经够用没必要引入多向量。多向量模型的索引也会更占空间。每个 token 都保存向量总向量数量等于 doc 中所有 token 的数量而不是一条 doc 一个向量。磁盘、内存、带宽成本都要重新评估。3.3 合规和边界提醒训练和微调模型时要确认训练数据的合法来源和授权范围。用户查询日志、未授权抓取内容、含个人隐私的文本都不适合直接拿来做训练数据。涉及企业内部数据时要注意数据脱敏、访问控制和模型发布协议。模型权重如果有开源许可证也要按许可证要求保留版权声明和用途限制。4. 环境准备与前置条件4.1 基础环境推荐使用 Linux 服务器或 Windows WSL 进行训练。macOS 可以用于跑小规模实验和推理但训练大模型不建议。环境项建议操作系统Ubuntu 20.04 / 22.04Windows 10/11 带 WSL2Python3.9 到 3.11CUDA11.8 或 12.x具体看 PyTorch 版本GPU建议显存 8G 以上base 级模型可训练更大模型需要 16G 以上磁盘预留 20G 以上包含模型缓存和训练输出端口训练阶段一般不占用固定端口但如果使用 TensorBoard 或 API 服务需要预留 6006 / 8000 等4.2 Python 依赖训练多向量嵌入模型需要安装以下核心依赖sentence-transformerstransformersdatasetstorchpeft用于 LoRA 微调accelerateevaluatetensorboard可选用于日志可视化faiss-cpu或faiss-gpu可选用于索引检索验证安装命令示例pip install --upgrade sentence-transformers transformers datasets accelerate peft evaluate如果使用 GPU 训练需要先确认 PyTorch 的 CUDA 版本与驱动匹配。可以通过下面的命令检查python -c import torch; print(torch.__version__); print(torch.cuda.is_available())如果torch.cuda.is_available()返回True说明 CUDA 环境可用。返回False时不要急着训练先检查驱动和 PyTorch 版本。5. 安装部署与模型加载5.1 加载单向量模型先用一个最小的例子验证环境from sentence_transformers import SentenceTransformer model SentenceTransformer(BAAI/bge-base-zh-v1.5) emb model.encode(测试嵌入模型是否可用) print(emb.shape)如果输出维度符合预期说明模型加载和推理链路正常。5.2 多向量模型的加载思路多向量模型的权重可以加载到SentenceTransformer中但推理时不会直接返回单个句向量。你需要从模型的最后一层拿到 token-level 的向量序列。如果使用基于 ColBERT 结构的多向量模型加载后通常可以用自定义 forward 逻辑获取last_hidden_state。示例代码如下需要注意实际模型的输出结构可能不同这里只是一个通用模板import torch from transformers import AutoModel, AutoTokenizer model_name your-multivector-model-path tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModel.from_pretrained(model_name) inputs tokenizer(查询文本, return_tensorspt) with torch.no_grad(): outputs model(**inputs) token_vectors outputs.last_hidden_state print(token_vectors.shape)在 Sentence Transformers 的训练框架里多向量模型的细节会被封装但如果你需要自定义 loss通常会直接操作 token-level 输出。5.3 启动训练服务训练不需要启动 WebUI。直接运行训练脚本即可。如果要在训练过程中查看 loss 曲线可以启动 TensorBoardtensorboard --logdir ./output --port 6006然后在浏览器中打开http://localhost:6006。6. 训练数据准备数据是所有嵌入模型微调效果的基础。Sentence Transformers 训练数据通常有三种组织形式。6.1 Pair 数据Pair 数据适合做相似度匹配每行包含两个文本模型学习这两个文本语义相近。from datasets import Dataset data [ {anchor: 如何选择向量数据库, positive: 向量数据库选型指南}, {anchor: 大模型微调方法有哪些, positive: 大模型参数高效微调技术总结}, ] dataset Dataset.from_list(data)这种格式可直接配合MultipleNegativesRankingLoss使用。6.2 Triplet 数据Triplet 数据包含 anchor、positive、negative。模型学习让 anchor 和 positive 的距离小于 anchor 和 negative 的距离。from datasets import Dataset data [ { anchor: 推荐系统召回阶段怎么设计, positive: 召回算法在推荐系统中的应用, negative: 数据库索引优化实践, } ] dataset Dataset.from_list(data)6.3 Jsonl 数据集实际工程中数据量较大建议直接用 jsonl 文件。每行是一个 JSON 对象。{anchor: query文本, positive: 相关文档, negative: 不相关文档} {anchor: 另一条query, positive: 另一条正向文档, negative: 另一条负向文档}加载方式from datasets import load_dataset dataset load_dataset(json, data_filestrain.jsonl, splittrain)6.4 数据质量要求微调嵌入模型时数据质量比数据量更关键。最基础的几个要求anchor 和 positive 之间确实存在语义关联。negative 要是“难负例”不能是随便找的不相关文本。难负例通常是和 anchor 表面相似但语义不同的文本。训练集和评估集要分开不能用同一条数据既训练又评估否则指标虚高。7. 损失函数选择与微调策略7.1 MultipleNegativesRankingLossMultipleNegativesRankingLoss是 Sentence Transformers 里最常用的对比学习损失。它把 batch 内的 positive 当成负样本模型需要从 batch 中正确匹配 anchor 对应的 positive。这种 loss 对 batch size 比较敏感。batch 越大负样本越丰富效果通常会更好但显存占用也会更高。from sentence_transformers import losses loss losses.MultipleNegativesRankingLoss(model)7.2 CachedMultipleNegativesRankingLoss如果显存有限可以使用CachedMultipleNegativesRankingLoss。它通过缓存部分向量来降低显存占用同时能支持更大的 batch size。具体实现是通过缓存计算减少反向传播的显存开销。from sentence_transformers import losses loss losses.CachedMultipleNegativesRankingLoss(model, cache_batch_size32)这里cache_batch_size的具体命名需要以当前版本 API 为准核心思路是降低单次显存压力。7.3 多向量模型的 Loss 处理多向量训练的核心差异在 loss 计算。对于 ColBERT 式多向量模型不能直接套用单向量模型的余弦相似度计算。一般做法是查询侧编码出一组 token 向量。文档侧编码出一组 token 向量。查询向量和文档向量做 token 级别的 late interaction得到相似度分数。把相似度分数作为 logits与 positive 标签做交叉熵。使用 Sentence Transformer 训练时如果你加载的模型本身是标准SentenceTransformer且支持多向量结构那么MultipleNegativesRankingLoss可能会自动适配模型输出。这一点需要在训练前确认模型在encode和 forward 阶段返回的是单向量还是 token 向量序列。如果框架没有内置适配也可以自定义一个 loss 函数import torch import torch.nn.functional as F class ColBERTMNLRLoss(torch.nn.Module): def __init__(self, scale1.0): super().__init__() self.scale scale def forward(self, sentence_features, labels): # reps 是模型输出的 token-level 向量列表 q_reps sentence_features[query] d_reps sentence_features[document] scores [] for q_vec in q_reps: # 对每条 query 与 batch 内所有 document 计算 late interaction row [] for d_vec in d_reps: sim self._late_interaction(q_vec, d_vec) row.append(sim) scores.append(torch.stack(row)) scores torch.stack(scores) labels torch.arange(scores.size(0), devicescores.device) return F.cross_entropy(scores * self.scale, labels) def _late_interaction(self, q_vec, d_vec): q_vec F.normalize(q_vec, p2, dim-1) d_vec F.normalize(d_vec, p2, dim-1) dot torch.einsum(in,jn-ij, q_vec, d_vec) max_sim, _ dot.max(dim1) return max_sim.sum()这里只是演示 late interaction 的实现思路具体是否能在训练中高效运行要看模型输出的维度结构和 batch 组织方式。7.4 LoRA 与参数高效微调如果训练数据少或显存有限优先考虑 LoRA。LoRA 只训练部分低秩矩阵冻结大部分模型参数显存占用和训练时间都会明显下降。在 Sentence Transformers 中结合 LoRA核心是在 Transformer 层注入 adapter。大致流程如下from peft import LoraConfig, TaskType from sentence_transformers import SentenceTransformer model SentenceTransformer(BAAI/bge-base-zh-v1.5) lora_config LoraConfig( r8, lora_alpha16, target_modules[q_proj, v_proj], lora_dropout0.05, biasnone, task_typeTaskType.FEATURE_EXTRACTION, ) # 将 LoRA adapter 应用到模型 backbone model.model get_peft_model(model.model, lora_config)target_modules的配置取决于实际模型结构。bge 这类模型通常使用BertModel结构query 和 value 投影层往往是q_proj、v_proj但不同模型命名可能不同需要先打印模型结构确认。get_peft_model需要从peft中导入。训练结束后需要合并 LoRA 权重或单独保存 adaptermodel.save_pretrained(output/lora_adapter)7.5 微调策略选择策略数据量需求显存压力效果特点全量微调大建议万级以上高效果上限高容易过拟合LoRA几千条也能跑低训练快适合垂类适配冻结 embedding 层微调中中降低参数量稳定训练从零训练百万级以上很高一般不建议业务场景采用8. 训练脚本实战8.1 全量微调示例使用 Sentence Transformer 的SentenceTransformerTrainer。from sentence_transformers import ( SentenceTransformer, SentenceTransformerTrainer, losses, ) from sentence_transformers.training_args import SentenceTransformerTrainingArguments from datasets import load_dataset model SentenceTransformer(BAAI/bge-base-zh-v1.5) dataset load_dataset(json, data_filestrain.jsonl, splittrain) loss losses.MultipleNegativesRankingLoss(model) args SentenceTransformerTrainingArguments( output_diroutput/bge-mnrl, num_train_epochs3, per_device_train_batch_size8, learning_rate2e-5, warmup_ratio0.1, fp16True, save_strategyepoch, logging_steps50, eval_strategysteps, eval_steps200, save_total_limit2, ) trainer SentenceTransformerTrainer( modelmodel, argsargs, train_datasetdataset, eval_datasetNone, lossloss, ) trainer.train()训练启动后可以观察日志中的loss变化。如果 loss 没有下降趋势需要检查学习率、batch size 和数据质量。8.2 多向量模型微调示例多向量模型微调的主要区别在于数据组织方式和 loss。训练开始前建议先用一个很小的数据集验证 forward 和 loss 能跑通再切到全量数据。下面是一个简化示意from datasets import Dataset from sentence_transformers import SentenceTransformer, SentenceTransformerTrainer model SentenceTransformer(your-multivector-model) train_data [ {query: 如何用 Sentence Transformers 微调多向量嵌入模型, document: 多向量嵌入模型训练与微调教程}, ] dataset Dataset.from_list(train_data) from my_losses import ColBERTMNLRLoss loss ColBERTMNLRLoss(scale20.0) # 这里假设 trainer 支持自定义 loss否则需要改动训练循环如果框架内没有现成的多向量训练器更稳妥的做法是直接用 Hugging Face Trainer 或 Pytorch Lightning 写一个自定义训练循环。先用 100 条数据跑通再扩展。8.3 增量微调增量微调指在已有模型基础上继续训练。和全量训练的区别是初始权重更可控学习率通常要调低例如 1e-5 到 2e-5防止破坏原有语义。model SentenceTransformer(output/bge-mnrl/checkpoint-500)加载 checkpoint 继续训练即可。9. 评估与部署验证9.1 使用 InformationRetrievalEvaluator嵌入模型微调后不能只看 loss要直接看检索指标。Sentence Transformers 提供了InformationRetrievalEvaluator它需要三个输入corpus候选文档集合queries查询集合relevant_docs每个查询对应的相关文档 idfrom sentence_transformers.evaluation import InformationRetrievalEvaluator corpus { doc1: 多向量嵌入模型训练指南, doc2: 数据库索引优化实践, } queries { q1: 多向量嵌入模型怎么训练, } relevant_docs { q1: {doc1}, } evaluator InformationRetrievalEvaluator( queriesqueries, corpuscorpus, relevant_docsrelevant_docs, namedev, ) evaluation_result evaluator(model) print(evaluation_result)如果是多向量模型InformationRetrievalEvaluator不一定能直接处理 token 级向量输出需要把多向量编码转换成可检索的形式或者使用支持多向量的检索库。9.2 手动验证召回更简单的验证方式是直接用少量 query 跑检索from sentence_transformers import SentenceTransformer model SentenceTransformer(output/bge-mnrl) query Sentence Transformers 多向量模型训练 docs [ 多向量嵌入模型训练方法, 文本分类模型实践, ] q_emb model.encode(query, convert_to_tensorTrue) d_embs model.encode(docs, convert_to_tensorTrue) scores model.similarity(q_emb, d_embs) print(scores)注意如果模型是多向量输出encode返回的结构与单向量不同不能用这段代码直接处理。需要走多向量推理流程。9.3 多向量模型推理思路多向量推理时查询和文档都输出 token 向量序列不能直接点积。需要按 late interaction 计算相似度import torch import torch.nn.functional as F def late_interaction_score(query_vectors, doc_vectors): query_vectors F.normalize(query_vectors, p2, dim-1) doc_vectors F.normalize(doc_vectors, p2, dim-1) # query_vectors: [q_len, dim] # doc_vectors: [d_len, dim] scores torch.einsum(in,jn-ij, query_vectors, doc_vectors) max_scores, _ scores.max(dim1) return max_scores.sum().item()实际落地时可以先离线把文档编码成多向量并保存到向量库查询阶段只编码 query然后与文档向量做最大相似度聚合。10. 资源占用与性能观察10.1 显存观察方法训练时可以用nvidia-smi观察显存占用nvidia-smi -l 2或者用 Python 脚本实时查看import torch print(torch.cuda.memory_summary())训练开始后重点关注torch.cuda.memory_allocated()和torch.cuda.memory_reserved()的变化。10.2 影响显存的关键因素在微调嵌入模型时显存占用主要受以下因素影响模型参数量base 模型参数量在 100M 到 300M 级别large 模型会明显增加显存。max_seq_length输入文本越长token 向量占用的显存越高。多向量模型直接和 token 数成线性关系。batch_sizebatch 越大显存占用越高。是否使用梯度检查点开启梯度检查点可以降低显存但会增加训练时间。是否使用混合精度开启fp16或bf16可以显著减少显存。10.3 降低显存占用的方法减小max_seq_length例如从 512 降到 256。使用gradient_accumulation_steps保持大 batch 效果的同时减小单步显存。使用 LoRA 微调冻结大部分参数。使用CachedMultipleNegativesRankingLoss减少训练显存。开启torch.utils.checkpoint梯度检查点。from sentence_transformers.training_args import SentenceTransformerTrainingArguments args SentenceTransformerTrainingArguments( output_diroutput, gradient_accumulation_steps4, per_device_train_batch_size4, fp16True, gradient_checkpointingTrue, )10.4 CPU 与 GPU 差异CPU 可以跑推理但训练速度慢很多。如果是几万条数据的小规模微调CPU 上也能跑但要接受训练时间较长。GPU 训练时base 模型加小 batch 的显存压力通常可控但具体数字必须以本机测试为准。11. 常见问题与排查方法问题现象可能原因排查方式解决方案安装依赖时报冲突transformers 和 sentence-transformers 版本不匹配检查 pip 依赖树升级或固定版本重新安装CUDA 不可用驱动版本低或 PyTorch 装错 CPU 版本运行torch.cuda.is_available()重新安装匹配 CUDA 的 PyTorch训练时显存不足 OOMbatch_size 过大或 max_seq_length 过长查看显卡显存和 batch 大小减小 batch、缩短 max_seq_length、开启梯度累积加载模型时网络超时Hugging Face Hub 无法访问或网络受限查看日志错误设置镜像源或提前将模型下载到本地路径loss 不下降学习率过高或数据质量差检查日志随机抽几条数据调低学习率清洗训练数据多向量模型 encode 结果维度不对模型输出仍包含 token 向量没有池化打印输出张量形状根据模型类型选择合适的处理方式评估指标偏低negative 太简单或训练数据与评估分布不一致查看错误样本构造难负例调整数据分布checkpoint 加载失败训练输出目录不完整或路径有误检查目录结构确认output_dir下包含模型权重批量推理速度慢数据没有走 GPU 或没有批处理检查 device 和 batch 参数用model.encode(..., batch_size64)确认模型在cuda多向量嵌入模型最常见的坑是“模型结构已经变了但还按单向量的方式计算相似度”。训练和推理前务必确认当前模型输出的是句向量还是 token 向量序列。12. 最佳实践与使用建议第一次训练时不要直接上全量数据和复杂参数。先把max_seq_length设为 128batch size 设为 8训练 1 个 epoch用一个小数据集跑通整个流程。确认训练、loss、保存、评估都没问题后再逐步放大。目录管理上建议把训练数据、模型权重、评估结果分开放置project/ ├── data/ │ ├── train.jsonl │ └── dev.jsonl ├── models/ │ └── base-model/ ├── output/ │ └── checkpoints/ └── logs/批量任务方面如果要对大量文本做编码建议统一写好批量脚本并做好断点恢复。训练过程可以靠save_strategyepoch保存 checkpoint推理过程建议按批次处理并记录失败样本。接口集成方面微调完成后可以用 FastAPI 包一层推理服务把 encode 逻辑暴露成 HTTP 接口。需要特别注意的是对外提供服务时要限制访问范围避免接口被批量滥用如果处理的是用户数据还要做好隐私保护和日志脱敏。合规方面再强调一次训练数据来源必须合法人脸、声音、个人隐私、版权内容不能未经授权直接用。开源模型权重要遵守对应许可证要求。用于商业系统前先做效果评估和合规审查。最后一个实用建议是先别急着上多向量。如果当前单向量模型在召回测试中已经达到业务要求那么多向量带来的收益可能有限。多向量适合的是“单向量模型明显漏召回、但局部关键词或证据片段对结果影响很大”的场景。先把基线跑出来再对比加多向量后的收益这样每一步都有数据支撑。