BGEBAAI General Embedding是由北京智源人工智能研究院研发的开源通用向量模型专为信息检索和检索增强生成RAG应用打造。它在语义检索精度上全面超越了同类模型例如在中文评测C-MTEB中其检索精度约为当时OpenAI模型的1.4倍并已成为Hugging Face上下载量最高的国产AI模型系列之一。核心技术创新BGE模型的出色性能源于其在架构、预训练和训练方法上的多项核心创新针对表征的预训练 (RetroMAE)传统预训练模型如BERT的目标并非直接优化语义向量。BGE采用了专为语义表征设计的RetroMAE预训练算法通过一种类似“掩码-重建”的任务让模型在大规模无标签语料上学习如何生成高质量的句子向量为后续任务打下坚实基础。大规模对比学习与难负样例挖掘在预训练基础上BGE通过对比学习进行微调。它构建了海量中文1.2亿、英文2.32亿的文本对数据进行训练让模型能将语义相似的文本在向量空间中拉近不相似的推开。同时通过难负样例挖掘在训练中特意挑选模型容易混淆的错误样本有效提升了模型的判别能力。非对称指令 (Instruction) 添加BGE借鉴了指令微调的思想在处理查询Query时会添加一个如“为这个句子生成表示以用于检索相关文章”的指令前缀。这是一个非常实用的技巧能有效区分“查询意图”和“文档内容”显著提升检索效果。技术架构与演变BGE系列模型基于经典的Encoder-only Transformer架构如BERT。它将文本转换为固定长度的稠密向量。在模型内部输入文本首先被切分为Token并转换为初始向量然后经过多层编码器处理最终通过池化Pooling操作如取[CLS]标记或平均所有Token聚合为最终向量。值得注意的是BGE家族也在持续演进BGE-M3作为升级版它统一了密集检索Dense、词汇检索Lexical/稀疏 和多向量检索三种能力且支持更长文本和多语言功能更强大。BGE-EN-ICL该模型则转向了Decoder-only的LLM架构基于Mistral-7B并引入了上下文学习In-Context Learning能力使其在少样本场景下表现更优。总结BGE模型通过创新的预训练目标RetroMAE、大规模高质量的对比学习、以及实用的查询指令设计构建了一个强大且易用的中文语义向量模型体系。它不仅是学术界的标杆更因其MIT开源协议成为了工业界构建RAG等应用的首选基础工具之一。