向量检索做 RAG 的第一道选择题就是 Embedding 模型。很多团队默认调 OpenAI 的 API但我们在中文场景的实测中发现开源 Embedding 在多个维度上是更优解。本文给出选型框架和实测数据。选型六个维度维度 要问的问题 检索质量 在你的语料上召回率如何不是榜单 语言支持 中文/中英混合/多语种 最大长度 能否覆盖你的最长 chunk 维度与存储 维度越高向量库成本越高 部署成本 API 计费 vs 自托管 GPU 延迟 在线检索链路能否接受实测中文语料上的召回对比用 2,000 条真实客服问答query 已人工标注对应段落测试 Recall5模型 维度 Recall5 备注 text-embedding-3-large 3072 0.812 $0.13/1M tokens text-embedding-3-small 1536 0.794 $0.02/1M tokens BGE-M3自托管 1024 0.831 中文强化支持8K长度 m3e-large 1024 0.776 老牌中文模型 bge-large-zh-v1.5 1024 0.825 中文场景稳定两个结论第一中文场景下 BGE 系列反超 OpenAI第二自托管 BGE-M3 在长文档场景优势明显8K 输入意味着可以少切很多块。上手代码fromsentence_transformersimportSentenceTransformer modelSentenceTransformer(BAAI/bge-m3)# 关键query 和 passage 用不同的前缀bge 系列训练时的约定query_vecmodel.encode(如何配置重试策略,prompt_namequery,# bge 检索查询前缀normalize_embeddingsTrue# 归一化后用内积 余弦相似度)passage_vecsmodel.encode(passages,normalize_embeddingsTrue) 三个工程细节都是踩过坑的1.**归一化**normalize_embeddingsTrue 之后内积即余弦相似度向量库索引HNSW效率也更高。2.**query/document 前缀**BGE 系列训练时对 query 加了指令前缀检索时 query 侧要加、document 侧不加。搞反了召回率掉5个点以上。3.**换模型全量重建**Embedding 向量不具备跨模型可比性换模型意味着向量库全量重嵌入。选型阶段务必用真实数据测好再定上线后更换的成本极高。## 什么时候仍然选 API-数据合规无敏感问题、且不想维护 GPUAPI 省心-多语言混合严重BGE-M3 也支持但 API 多语能力仍有优势-调用量小到成本可忽略每天几千次以内。## 选型流程建议text1.抽200-500条真实 query人工标注正确段落2.候选模型各跑一遍 Recall5/MRR3.对 top2 做长文档、表格、错别字等坏例测试4.评估部署成本和延迟拍板榜单是入口真实数据是裁判。花一天做基准测试比上线后推倒重建划算得多。