大模型持续推高内存存储需求与硬件成本硬件成本正成为制约向量检索规模化的最大瓶颈之一海量向量场景下如何在固定预算内平衡“吞吐、延迟、召回率与数据导入效率”等各项性能指标成为业务扩张核心难题。火山 Milvus 上线之初即集成业界先进的 DiskANN RaBitQ 算法。依托该能力其性能版较开源版本性能提升 30% 以上磁盘版性能更是领先开源版本 5 倍以上详情可参考 5 倍性能优于开源版火山 Milvus 集成 DiskANN RaBitQ。本次火山 Milvus 通过进一步优化向量检索算法与在线查询链路再次刷新了性能上限在固定成本下延续上次相比开源 Milvus 实现超过 5 倍性能提升外本次更是达到了 VectorDBBench 榜首近 3 倍让向量数据库在真实在线场景中的性价比持续领先。超越 VectorDBBench 榜首的高性能作为向量数据库、云向量服务权威基准评测工具VectorDBBench 是覆盖写入、检索、过滤检索等真实业务场景是业内衡量向量库性能与性价比的通用标准。所有评测统一限定每月 1000 美元固定成本按 2025 年均汇率 7.1429 折算约 7142.9 元 / 月横向对比。在这一严格且统一的成本前提下作为外部验证火山 Milvus 与开源 VectorDBBench 工具 相同测试场景下已有的第三方测试结果进行了对比。截止至 2026 年 6 月 17 日火山 Milvus 在保持高 Recall 的前提下QPS 达到当前 VectorDBBench 榜首成绩的近 3 倍。换言之在相同资源投入下火山 Milvus 能够释放更高检索吞吐将单位资源的向量检索产出提升至接近 3 倍。硬件涨价周期下可大幅降低部署成本。对于需要持续扩容 RAG、推荐或多模态检索服务的业务来说这类单位成本吞吐能力会直接影响整体基础设施投入。注图中 Milvus-VolcanoEngine-force_merge-v20260615 表示火山 Milvus 当前版本其余均为开源 VectorDBBench 工具已有结果真正的性价比来自这些指标在同一套资源约束下同时成立。如上图所示本次测试中 QPS、召回率、导入耗时与查询延迟结果火山 Milvus 在线查询链路使用 59C 资源取得 Recall 93.9%、QPS 20420、p99 延迟 2.7ms、平均延迟 2.5ms、导入时间约 4515s 的结果。对在线服务而言QPS 决定单位资源能够承载多少请求p99 决定用户体验和系统稳定性Recall 决定检索质量导入效率则影响大规模数据更新和业务迭代成本。算法再突破RaBitQ DiskANN 提升检索效率内存版 DiskANN释放高性能图搜索能力很多人会认为 DiskANN 是一种低查询性能的“磁盘型索引”但事实并非如此开源 DiskANN [3] 支持两种模式追求极致检索性能的的内存模式以及适配超大规模、低内存占用场景的磁盘模式。在火山 Milvus 的实现中DiskANN 同样支持内存版和磁盘版两种形态内存版 DiskANN将检索所需数据加载到内存中图搜索过程中直接从内存读取更适合对吞吐和延迟要求较高的性能场景。我们本次性能测试使用的也是高性能内存版 DiskANN。磁盘版 DiskANN延续经典 DiskANN 的 On-Disk 设计以更低内存占用支撑更大规模数据图搜索过程中按需从磁盘读取。这一区分非常重要。DiskANN 的核心价值并不只是“把数据放到磁盘上”而是通过图索引结构、候选扩展策略和数据布局设计在不同资源约束下实现高效近似最近邻搜索。对于在线高性能场景内存版 DiskANN 可以充分利用 CPU 与内存访问能力将图搜索效率释放到更高水平。Extended-RaBitQ在压缩率与召回精度之间取得平衡RaBitQ 是当前先进的向量搜索量化算法之一火山 Milvus 上线初期便完成工程落地并搭配 DiskANN用于提升大规模向量检索场景下的性能与成本效率。随后RaBitQ 作者推出 Extended-RaBitQ 算法 [1]作为 RaBitQ 多比特量化扩展方案。相比 1-bit RaBitQ 追求极致压缩Extended-RaBitQ 允许每一维使用更丰富的量化表示在保持低存储成本的同时进一步提升向量距离估计的精度。它的核心价值是延续 RaBitQ 基于高维几何的量化思想让压缩后的向量表示更贴近原始向量的方向与距离关系从而在召回精度、存储成本和查询性能之间取得更好的平衡。也就是说Extended-RaBitQ 将 RaBitQ 从原先的 1-bit 二值量化扩展到 2-bit、3-bit、4-bit 等多 bit 场景并在查询阶段保持与标量量化相近的计算形式。在工程实现上火山 Milvus 通过将 Extended-RaBitQ 与 DiskANN 相结合使系统可以根据不同阶段的检索需求选择更合适的压缩粒度在粗召回阶段优先追求极致压缩与高速计算。在候选 refine 阶段使用更高精度的量化表示提升距离估计质量。这样一来系统无需完全依赖原始 float 向量也能在较低存储成本下获得更稳定的召回效果和更好的 TopK 精度。In-Memory Layout让图搜索更贴近 CPU 访问模式在In-Memory 高性能向量检索场景下火山 Milvus 进一步结合 RaBitQ 的紧凑量化表示对内存版 DiskANN 的图搜索路径做了系统性优化。内存版 DiskANN 在查询时会持续展开图邻居并对候选点进行批量距离估计。这个过程中的热点并不只是距离计算本身还包括从候选 id 到量化表示、候选元信息、邻接信息的整条访问路径。基于这一特点火山 Milvus 对 RaBitQ 表示、候选点信息和图遍历访问模式进行了协同优化使查询线程在展开邻居和批量计算候选距离时尽量访问连续、紧凑、CPU cache 友好的数据。系统会优先读取轻量化的 RaBitQ 表示并通过更适合批量计算的内存布局和计算路径减少随机访存和无效数据加载。这类优化并不改变 DiskANN RaBitQ 的召回语义但显著改善了数据到达 CPU 的方式。最终在同样的 CPU 和内存预算下查询链路可以把更多时间用于有效距离计算和图搜索推进而不是等待内存访问从而进一步提升内存版 DiskANN 的查询效率。工程再优化让高性能检索触手可及查询链路瘦身降低单次请求基础延迟火山 Milvus 通过性能分析和链路追踪对查询过程中的热点路径进行了精细梳理。除了关注整体吞吐也重点分析单次查询在主链路上的耗时分布定位可能拉长基础延迟的关键环节。对于在线向量检索系统来说吞吐能力固然重要但单次查询延迟是否足够低同样决定了系统服务质量。尤其是在固定资源预算下如果每一次查询都包含额外的内存分配、数据拷贝或冗余计算这些成本最终都会反映到延迟和单位资源吞吐上。因此本轮工程优化首先从查询链路本身入手围绕 Search 关键路径减少不必要的内存分配、中间对象生成和冗余消耗让一次查询以更短、更轻的路径完成。这样做的价值并不只是降低某个局部函数耗时而是压低每一次请求的基础开销为系统承载更高并发和更复杂负载留出空间。这也是工程优化的核心价值之一把算法能力稳定转化为线上服务能力不只依赖更高的并发压测结果更依赖每一次查询都足够轻、足够稳。内存与运行时优化提升图搜索的硬件利用效率在高性能向量检索场景中图搜索不仅是计算密集型任务也高度依赖内存访问效率。随着数据规模和并发压力提升邻接关系、量化后的向量表示以及候选集信息会在查询过程中被频繁访问访存效率会直接影响 CPU 的有效工作时间。围绕这类特点火山 Milvus 对热点大段连续内存进行了更精细的运行时管理使图遍历和批量距离估计过程中访问最频繁的数据能够以更稳定、更高效的方式被 CPU 使用。对于邻接表、量化表示等核心数据结构这类优化可以提升访存效率降低页表查询带来的额外开销让高并发查询下的尾延迟更加可控。同时火山 Milvus 也针对图遍历过程中的访存方式做了优化。查询线程在扩展候选点时会更主动地为后续访问路径做好准备减少 CPU 等待数据到达的时间。对于向量检索这种“图遍历 距离计算”交织的链路这类优化能够让硬件能力更充分地释放出来。这些工作不像算法升级那样容易被单独感知但它们决定了性能上限能否稳定落到线上。在不改变检索语义的前提下火山 Milvus 通过更轻的查询链路、更高效的内存访问和更稳定的图遍历执行让同样的资源预算承载更高吞吐、更低尾延迟和更稳定的在线检索服务。总结火山 Milvus 这次在 VectorDBBench 性价比测试中的表现是算法优化与系统工程能力共同作用的结果。从 RaBitQ 混合量化到邻接表内存布局、定向大页、内存分配优化、Search 链路 copy 清理再到编译工具链升级所有优化都指向同一个目标减少查询链路中的无效消耗把同样的 CPU、内存和云资源转化为更高的业务吞吐。这次结果换算到成本视角会更直观在 AI 时代内存与磁盘持续涨价的大背景下火山 Milvus 用 59C、约 7105 元/月的在线查询链路就实现了 QPS 20420达到榜首近 3 倍。若要用榜单上其他方案达到同等 QPS 水平往往需要成倍的内存与计算资源投入 —— 这意味着在保持相同吞吐与召回的前提下火山 Milvus 可将向量检索的资源与成本压缩至原来的约 1/3。当数据规模迈向百亿、千亿级这一性价比差距会被进一步放大为每月数万乃至数十万元的真实成本节省。榜单结果是一种外部验证真正值得关注的是背后的成本效率提升路径。面对持续增长的向量数据规模高吞吐、低延迟、高召回、高导入效率和高性价比才是向量数据库在真实在线场景中的长期竞争力。附录测试与复现测试配置数据集1000 万 Cohere 数据集向量维度768相似度度量COSINETopK100Recall93.9%客户端并发数250客户端部署环境火山引擎 ECS ecs.g4al.16xlarge资源约束Milvus 在线查询链路总核数 59C包月费用约 7105 元/月集群规格包月价格7105 月/元proxy8C8G × 1mixcoord1C2G × 1querynode48C48G × 1datanode2C4G × 1indexnode池化按需付费测试结果QPS20420在固定资源预算下显著提升单位资源吞吐Latencyp99 延迟 2.7ms平均延迟 2.5ms导入时间约 4515sRecall93.9%综合开源 VectorDBBench 结果QPS 排名第一导入时间排名第二p99 延迟并列第三Recall 排名第四复现说明参考 Milvus 向量检索性能测试操作手册 。在固定数据集、固定 Recall 和固定延迟约束下火山 Milvus 将 QPS 提升至 20420同时将 p99 延迟稳定保持在 2.7ms。这里复现的不只是一组榜单成绩更是一条可量化的成本效率提升路径用同样的在线资源承载更多查询同时不牺牲召回质量和尾延迟稳定性。参考资料[1] Jianyang Gao, Yutong Gou, Yuexuan Xu, Yongyi Yang, Cheng Long, Raymond Chi-Wing Wong, Practical and Asymptotically Optimal Quantization of High-Dimensional Vectors in Euclidean Space for Approximate Nearest Neighbor Search, SIGMOD 2025, available at https://arxiv.org/abs/2409.09913[2] https://dev.to/gaoj0017/extended-rabitq-an-optimized-scalar-quantization-method-83m[3] https://github.com/microsoft/DiskANN
大模型持续推高内存存储需求与硬件成本硬件成本正成为制约向量检索规模化的最大瓶颈之一海量向量场景下如何在固定预算内平衡“吞吐、延迟、召回率与数据导入效率”等各项性能指标成为业务扩张核心难题。火山 Milvus 上线之初即集成业界先进的 DiskANN RaBitQ 算法。依托该能力其性能版较开源版本性能提升 30% 以上磁盘版性能更是领先开源版本 5 倍以上详情可参考 5 倍性能优于开源版火山 Milvus 集成 DiskANN RaBitQ。本次火山 Milvus 通过进一步优化向量检索算法与在线查询链路再次刷新了性能上限在固定成本下延续上次相比开源 Milvus 实现超过 5 倍性能提升外本次更是达到了 VectorDBBench 榜首近 3 倍让向量数据库在真实在线场景中的性价比持续领先。超越 VectorDBBench 榜首的高性能作为向量数据库、云向量服务权威基准评测工具VectorDBBench 是覆盖写入、检索、过滤检索等真实业务场景是业内衡量向量库性能与性价比的通用标准。所有评测统一限定每月 1000 美元固定成本按 2025 年均汇率 7.1429 折算约 7142.9 元 / 月横向对比。在这一严格且统一的成本前提下作为外部验证火山 Milvus 与开源 VectorDBBench 工具 相同测试场景下已有的第三方测试结果进行了对比。截止至 2026 年 6 月 17 日火山 Milvus 在保持高 Recall 的前提下QPS 达到当前 VectorDBBench 榜首成绩的近 3 倍。换言之在相同资源投入下火山 Milvus 能够释放更高检索吞吐将单位资源的向量检索产出提升至接近 3 倍。硬件涨价周期下可大幅降低部署成本。对于需要持续扩容 RAG、推荐或多模态检索服务的业务来说这类单位成本吞吐能力会直接影响整体基础设施投入。注图中 Milvus-VolcanoEngine-force_merge-v20260615 表示火山 Milvus 当前版本其余均为开源 VectorDBBench 工具已有结果真正的性价比来自这些指标在同一套资源约束下同时成立。如上图所示本次测试中 QPS、召回率、导入耗时与查询延迟结果火山 Milvus 在线查询链路使用 59C 资源取得 Recall 93.9%、QPS 20420、p99 延迟 2.7ms、平均延迟 2.5ms、导入时间约 4515s 的结果。对在线服务而言QPS 决定单位资源能够承载多少请求p99 决定用户体验和系统稳定性Recall 决定检索质量导入效率则影响大规模数据更新和业务迭代成本。算法再突破RaBitQ DiskANN 提升检索效率内存版 DiskANN释放高性能图搜索能力很多人会认为 DiskANN 是一种低查询性能的“磁盘型索引”但事实并非如此开源 DiskANN [3] 支持两种模式追求极致检索性能的的内存模式以及适配超大规模、低内存占用场景的磁盘模式。在火山 Milvus 的实现中DiskANN 同样支持内存版和磁盘版两种形态内存版 DiskANN将检索所需数据加载到内存中图搜索过程中直接从内存读取更适合对吞吐和延迟要求较高的性能场景。我们本次性能测试使用的也是高性能内存版 DiskANN。磁盘版 DiskANN延续经典 DiskANN 的 On-Disk 设计以更低内存占用支撑更大规模数据图搜索过程中按需从磁盘读取。这一区分非常重要。DiskANN 的核心价值并不只是“把数据放到磁盘上”而是通过图索引结构、候选扩展策略和数据布局设计在不同资源约束下实现高效近似最近邻搜索。对于在线高性能场景内存版 DiskANN 可以充分利用 CPU 与内存访问能力将图搜索效率释放到更高水平。Extended-RaBitQ在压缩率与召回精度之间取得平衡RaBitQ 是当前先进的向量搜索量化算法之一火山 Milvus 上线初期便完成工程落地并搭配 DiskANN用于提升大规模向量检索场景下的性能与成本效率。随后RaBitQ 作者推出 Extended-RaBitQ 算法 [1]作为 RaBitQ 多比特量化扩展方案。相比 1-bit RaBitQ 追求极致压缩Extended-RaBitQ 允许每一维使用更丰富的量化表示在保持低存储成本的同时进一步提升向量距离估计的精度。它的核心价值是延续 RaBitQ 基于高维几何的量化思想让压缩后的向量表示更贴近原始向量的方向与距离关系从而在召回精度、存储成本和查询性能之间取得更好的平衡。也就是说Extended-RaBitQ 将 RaBitQ 从原先的 1-bit 二值量化扩展到 2-bit、3-bit、4-bit 等多 bit 场景并在查询阶段保持与标量量化相近的计算形式。在工程实现上火山 Milvus 通过将 Extended-RaBitQ 与 DiskANN 相结合使系统可以根据不同阶段的检索需求选择更合适的压缩粒度在粗召回阶段优先追求极致压缩与高速计算。在候选 refine 阶段使用更高精度的量化表示提升距离估计质量。这样一来系统无需完全依赖原始 float 向量也能在较低存储成本下获得更稳定的召回效果和更好的 TopK 精度。In-Memory Layout让图搜索更贴近 CPU 访问模式在In-Memory 高性能向量检索场景下火山 Milvus 进一步结合 RaBitQ 的紧凑量化表示对内存版 DiskANN 的图搜索路径做了系统性优化。内存版 DiskANN 在查询时会持续展开图邻居并对候选点进行批量距离估计。这个过程中的热点并不只是距离计算本身还包括从候选 id 到量化表示、候选元信息、邻接信息的整条访问路径。基于这一特点火山 Milvus 对 RaBitQ 表示、候选点信息和图遍历访问模式进行了协同优化使查询线程在展开邻居和批量计算候选距离时尽量访问连续、紧凑、CPU cache 友好的数据。系统会优先读取轻量化的 RaBitQ 表示并通过更适合批量计算的内存布局和计算路径减少随机访存和无效数据加载。这类优化并不改变 DiskANN RaBitQ 的召回语义但显著改善了数据到达 CPU 的方式。最终在同样的 CPU 和内存预算下查询链路可以把更多时间用于有效距离计算和图搜索推进而不是等待内存访问从而进一步提升内存版 DiskANN 的查询效率。工程再优化让高性能检索触手可及查询链路瘦身降低单次请求基础延迟火山 Milvus 通过性能分析和链路追踪对查询过程中的热点路径进行了精细梳理。除了关注整体吞吐也重点分析单次查询在主链路上的耗时分布定位可能拉长基础延迟的关键环节。对于在线向量检索系统来说吞吐能力固然重要但单次查询延迟是否足够低同样决定了系统服务质量。尤其是在固定资源预算下如果每一次查询都包含额外的内存分配、数据拷贝或冗余计算这些成本最终都会反映到延迟和单位资源吞吐上。因此本轮工程优化首先从查询链路本身入手围绕 Search 关键路径减少不必要的内存分配、中间对象生成和冗余消耗让一次查询以更短、更轻的路径完成。这样做的价值并不只是降低某个局部函数耗时而是压低每一次请求的基础开销为系统承载更高并发和更复杂负载留出空间。这也是工程优化的核心价值之一把算法能力稳定转化为线上服务能力不只依赖更高的并发压测结果更依赖每一次查询都足够轻、足够稳。内存与运行时优化提升图搜索的硬件利用效率在高性能向量检索场景中图搜索不仅是计算密集型任务也高度依赖内存访问效率。随着数据规模和并发压力提升邻接关系、量化后的向量表示以及候选集信息会在查询过程中被频繁访问访存效率会直接影响 CPU 的有效工作时间。围绕这类特点火山 Milvus 对热点大段连续内存进行了更精细的运行时管理使图遍历和批量距离估计过程中访问最频繁的数据能够以更稳定、更高效的方式被 CPU 使用。对于邻接表、量化表示等核心数据结构这类优化可以提升访存效率降低页表查询带来的额外开销让高并发查询下的尾延迟更加可控。同时火山 Milvus 也针对图遍历过程中的访存方式做了优化。查询线程在扩展候选点时会更主动地为后续访问路径做好准备减少 CPU 等待数据到达的时间。对于向量检索这种“图遍历 距离计算”交织的链路这类优化能够让硬件能力更充分地释放出来。这些工作不像算法升级那样容易被单独感知但它们决定了性能上限能否稳定落到线上。在不改变检索语义的前提下火山 Milvus 通过更轻的查询链路、更高效的内存访问和更稳定的图遍历执行让同样的资源预算承载更高吞吐、更低尾延迟和更稳定的在线检索服务。总结火山 Milvus 这次在 VectorDBBench 性价比测试中的表现是算法优化与系统工程能力共同作用的结果。从 RaBitQ 混合量化到邻接表内存布局、定向大页、内存分配优化、Search 链路 copy 清理再到编译工具链升级所有优化都指向同一个目标减少查询链路中的无效消耗把同样的 CPU、内存和云资源转化为更高的业务吞吐。这次结果换算到成本视角会更直观在 AI 时代内存与磁盘持续涨价的大背景下火山 Milvus 用 59C、约 7105 元/月的在线查询链路就实现了 QPS 20420达到榜首近 3 倍。若要用榜单上其他方案达到同等 QPS 水平往往需要成倍的内存与计算资源投入 —— 这意味着在保持相同吞吐与召回的前提下火山 Milvus 可将向量检索的资源与成本压缩至原来的约 1/3。当数据规模迈向百亿、千亿级这一性价比差距会被进一步放大为每月数万乃至数十万元的真实成本节省。榜单结果是一种外部验证真正值得关注的是背后的成本效率提升路径。面对持续增长的向量数据规模高吞吐、低延迟、高召回、高导入效率和高性价比才是向量数据库在真实在线场景中的长期竞争力。附录测试与复现测试配置数据集1000 万 Cohere 数据集向量维度768相似度度量COSINETopK100Recall93.9%客户端并发数250客户端部署环境火山引擎 ECS ecs.g4al.16xlarge资源约束Milvus 在线查询链路总核数 59C包月费用约 7105 元/月集群规格包月价格7105 月/元proxy8C8G × 1mixcoord1C2G × 1querynode48C48G × 1datanode2C4G × 1indexnode池化按需付费测试结果QPS20420在固定资源预算下显著提升单位资源吞吐Latencyp99 延迟 2.7ms平均延迟 2.5ms导入时间约 4515sRecall93.9%综合开源 VectorDBBench 结果QPS 排名第一导入时间排名第二p99 延迟并列第三Recall 排名第四复现说明参考 Milvus 向量检索性能测试操作手册 。在固定数据集、固定 Recall 和固定延迟约束下火山 Milvus 将 QPS 提升至 20420同时将 p99 延迟稳定保持在 2.7ms。这里复现的不只是一组榜单成绩更是一条可量化的成本效率提升路径用同样的在线资源承载更多查询同时不牺牲召回质量和尾延迟稳定性。参考资料[1] Jianyang Gao, Yutong Gou, Yuexuan Xu, Yongyi Yang, Cheng Long, Raymond Chi-Wing Wong, Practical and Asymptotically Optimal Quantization of High-Dimensional Vectors in Euclidean Space for Approximate Nearest Neighbor Search, SIGMOD 2025, available at https://arxiv.org/abs/2409.09913[2] https://dev.to/gaoj0017/extended-rabitq-an-optimized-scalar-quantization-method-83m[3] https://github.com/microsoft/DiskANN
![[C++]内存管理：串顺序存储的内存回收](http://pic.xiahunao.cn/yaotu/[C++]内存管理：串顺序存储的内存回收)
