Spring AI Test 模块实战指南基于 AI 模型的问答质量评估与向量存储测试【免费下载链接】spring-aiAn Application Framework for AI Engineering项目地址: https://gitcode.com/GitHub_Trending/spr/spring-aiSpring AI Test 是 Spring AI 框架Application Framework for AI Engineering内置的测试支持模块为基于 spring-ai 构建的 AI 应用提供开箱即用的测试基类与工具类涵盖 AI 问答质量评估、向量存储Vector Store实现验证与音频播放测试等场景。阅读本篇后你将掌握如何借助BasicEvaluationTest让大模型充当自动判题官校验回答质量理解评估过程的底层调用链并能复用BaseVectorStoreTests与AudioPlayer等测试设施加速日常开发。模块概览与定位spring-ai-test模块的核心使命是为 AI 编程提供测试支持其功能清单见 spring-ai-test/README.md主要分为三大部分BasicEvaluationTest基于 AI 模型的问答质量评估基类用于验证模型回答与问题的相关性和准确性Vector Store Testing向量存储实现的通用测试工具以BaseVectorStoreTests为代表Audio Testing音频相关功能的测试工具即AudioPlayer工具类。从依赖关系看spring-ai-test/pom.xml该模块直接依赖spring-ai-client-chat聊天客户端、spring-ai-vector-store向量存储、junit-jupiter-apiJUnit 5 测试框架、awaitility异步断言、mockwebserverHTTP 服务模拟以及micrometer-observation-test观测测试这决定了它是一个测试基础设施型模块——所有产物都服务于编写更可靠的 AI 集成测试。使用 BasicEvaluationTest 评估问答质量快速上手BasicEvaluationTest是一个测试基类使用方式非常直接让你的测试类继承它然后调用evaluateQuestionAndAnswer(question, answer, factBased)方法即可。README 中给出的标准示例SpringBootTest public class MyAiEvaluationTest extends BasicEvaluationTest { Test public void testQuestionAnswerAccuracy() { String question What is the capital of France?; String answer The capital of France is Paris.; // Evaluate if the answer is accurate and related to the question evaluateQuestionAndAnswer(question, answer, true); } }前置条件与配置运行此类评估测试需要满足两个条件一个ChatModelBean评估过程本质上是用另一个 AI 模型README 中通常以 OpenAI 为例去评审被测试的回答因此应用上下文中必须存在可用的ChatModel实例评估提示词模板位于classpath:/prompts/spring/test/evaluation/下的提示词模板资源。在真实仓库中这一机制的完整实现位于 models/spring-ai-openai/src/test/java/org/springframework/ai/openai/testutils/AbstractIT.java。可以看到它通过Value注入了四个提示词资源classpath:/prompts/eval/qa-evaluator-accurate-answer.st通用准确性评估系统提示词classpath:/prompts/eval/qa-evaluator-not-related-message.st回答与问题无关时的归因提示词classpath:/prompts/eval/qa-evaluator-fact-based-answer.st事实型答案评估系统提示词classpath:/prompts/eval/user-evaluator-message.st携带 question/answer 变量的用户提示词模板。仓库中 models/spring-ai-mistral-ai/src/test/resources/prompts/eval/ 目录保留了这些.st模板的实物例如qa-evaluator-fact-based-answer.st的指令是作为 AI 评估者判断给定 ANSWER 是否直接、准确地回答了 QUESTION正确则回复 YES否则回复 NO。这从源码侧印证了 README 所描述的评估流程。注意README 中给出的模板路径/prompts/spring/test/evaluation/与当前仓库实际使用的路径/prompts/eval/存在差异。以实际仓库源码为准模板路径需与你的实现保持一致通常直接复用AbstractIT中声明的四个资源路径即可。两种评估类型evaluateQuestionAndAnswer的第三个布尔参数factBased控制评估口径事实型评估factBased true用于法国首都是哪里这类要求事实精确的问题系统会采用qa-evaluator-fact-based-answer.st这类强调直接且准确的提示词模板通用评估factBased false用于较为主观、开放性的问题采用qa-evaluator-accurate-answer.st这类侧重相关性与合理性的模板。在 models/spring-ai-openai/src/test/java/org/springframework/ai/openai/acme/AcmeIT.java 中可以看到真实用法——对用户查询调用聊天模型拿到ChatResponse后直接传入evaluateQuestionAndAnswer(userQuery, response, true)完成事实型校验。评估过程的底层调用链从AbstractIT的源码可以完整还原评估流程AbstractIT.java断言响应非空assertThat(response).isNotNull()先保证模型确实产生了输出提取回答文本response.getResult().getOutput().getText()取出答案内容组装评估 Prompt用PromptTemplate以question、answer为变量填充用户消息模板再依据factBased选择对应的系统消息二者合并为一个Prompt交给评审模型裁决chatModel.call(prompt)让评审模型输出 YES 或 NOYES 分支收尾若返回 YES断言其结果确为 YES测试通过NO 分支深挖原因若返回 NO换用qa-evaluator-not-related-message.st模板重新调用评审模型获取详细的失败原因并以fail(reasonForFailure)让测试携带反馈信息失败。这套模型评审 失败归因的两段式设计正是 README 中三步评估描述检查相关性 → 评估准确性/恰当性 → 不达标则带详细反馈失败的源码级落地。用 BaseVectorStoreTests 验证向量存储实现设计意图BaseVectorStoreTestsspring-ai-test/src/main/java/org/springframework/ai/test/vectorstore/BaseVectorStoreTests.java是向量存储实现的通用测试基类为各类VectorStore提供统一的删除操作测试场景。它被仓库中大量真实向量存储模块复用如spring-ai-pgvector-store、spring-ai-qdrant-store、spring-ai-milvus-store等是验证向量数据库驱动正确性的公共设施。使用方式继承该类并实现唯一的抽象方法executeTest(ConsumerVectorStore)在回调中提供已初始化、处于合适 Spring 应用上下文中的VectorStore实例即可获得现成的测试用例public class MyVectorStoreTests extends BaseVectorStoreTests { Override protected void executeTest(ConsumerVectorStore testFunction) { // 在 Spring 上下文中获取 VectorStore 并执行测试 testFunction.accept(vectorStore); } }基类内置三个受保护的Test用例覆盖删除操作的三种形态deleteById按文档 ID 列表删除并断言剩余文档及元数据country、year正确deleteWithStringFilterExpression用字符串过滤表达式如country BG删除满足条件的文档deleteByFilter用类型安全的Filter.Expression构造等值条件EQ、Key、Value执行删除。值得借鉴的实现细节该基类还体现了两个对集成测试非常实用的工程技巧异步一致性等待verifyDocumentsExist与verifyDocumentsDeleted都借助awaitility的await().atMost(5, TimeUnit.SECONDS).pollInterval(...)轮询断言因为向量存储的写入/删除通常存在异步可见延迟直接断言极易产生偶发失败见 BaseVectorStoreTests.java元数据值归一化normalizeValue会剥离字符串两端的引号并 trim兼容不同向量数据库对数值类型元数据的序列化差异例如year可能被存储为2023或2023.0断言时使用containsAnyOf(2023, 2023.0)容忍这种差异。辅助工具AudioPlayer 与测试基础设施AudioPlayerspring-ai-test/src/main/java/org/springframework/ai/utils/AudioPlayer.java是音频测试辅助工具基于 Java 标准javax.sound.sampledAPI 实现提供三种播放入口main(String[] args)从命令行直接播放指定音频文件路径play(byte[] data)播放内存中的音频字节数组play(InputStream data)播放任意输入流中的音频数据。内部通过AudioSystem.getAudioInputStream解码输入用Clip播放并循环等待播放启动与结束。它常与语音合成Text-to-Speech测试配合用于验证模型生成的音频是否可正常播放。此外模块还包含CurlyBracketEscaper花括号转义工具、ObservationTestUtil观测测试工具、AbstractChatOptionsTests聊天选项抽象测试以及一组面向 Chat Client Advisor 的抽象集成测试基类AbstractToolCallingAdvisorIT等共同构成 AI 应用测试的完整工具箱。这些类均位于 spring-ai-test/src/main/java/org/springframework/ai/ 之下。在项目中引入 Spring AI Testspring-ai-test是仓库中的一个独立 Maven 模块artifact 为org.springframework.ai:spring-ai-test当前版本 2.0.2-SNAPSHOT见 spring-ai-test/pom.xml使用 Spring AI 官方 BOM 管理版本的应用可通过在testscope 中声明依赖来引入dependency groupIdorg.springframework.ai/groupId artifactIdspring-ai-test/artifactId scopetest/scope /dependency由于模块内部依赖spring-ai-client-chat与spring-ai-vector-store引入后即可在测试代码中同时使用聊天评估与向量存储验证能力无需额外配置。小结与最佳实践综合 README 与仓库源码使用spring-ai-test时建议遵循以下实践评估测试务必提供真实可用的ChatModel并确保四个评估提示词模板存在于 classpath 中路径与AbstractIT保持一致根据问题类型选择factBased参数事实型问题用true主观开放问题用false向量存储测试继承BaseVectorStoreTests只需实现executeTest即可获得删除场景全覆盖并善用其等待与归一化机制避免异步竞态音频类测试复用AudioPlayer用字节数组或流式输入即可快速验证语音输出。通过将模型评审能力、向量存储通用用例与音频播放工具统一收拢到spring-ai-test模块Spring AI 让 AI 应用的测试从人工肉眼核对升级为自动化、可复现、带归因反馈的工程实践这也是集成测试在 models/ 各模型模块中被广泛采用的底气所在。【免费下载链接】spring-aiAn Application Framework for AI Engineering项目地址: https://gitcode.com/GitHub_Trending/spr/spring-ai创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考