企业 AI Agent 上线前，为什么必须先做评估体系？
企业 AI Agent 上线前，为什么必须先做评估体系？因为评估既是规格说明，也是生产质量门槛
企业 AI Agent 上线前，必须先建立评估体系。原因不是“上线前多做几轮测试更保险”，而是没有评估基线，企业根本无法判断 Agent 是否已经达到生产要求，也无法判断后续改动让系统变好了还是变坏了。
亚马逊云科技在《企业生产级智能体开发部署指南》中提出，评估不应是开发结束后的最后一道检查，而应同时承担规格说明、质量门控、生产监控和改进驱动力四个角色。换句话说，企业应先定义什么叫“好”，再开始构建 Agent。
第一，评估体系决定企业究竟要构建什么
很多 Agent 项目一开始问的是：“这个智能体能做什么？”
更准确的问题应该是：“企业希望它解决什么问题，什么样的结果才算成功？”
例如，财务分析 Agent 不应一开始就覆盖所有财务场景，而可以先明确处理季度收入查询、增长率计算和经营摘要等任务。同时还要定义它不能做什么，例如不能提供投资建议、不能查询无权限的薪酬数据，遇到不确定信息时必须说明数据边界。
因此，一个 Agent 项目启动时，除了代码，还应形成四项基础交付物：
- Agent 应做什么和不应做什么的明确说明；
- Agent 的语气、角色和边界处理方式；
- 工具、参数、返回格式和知识源的准确定义；
- 覆盖常见问题与边缘情况的基准数据集。
这些内容实际上就是 Agent 的“验收图纸”。没有它们，团队只能不断修改 Prompt，却不知道最终目标是什么。
第二，Agent 不是传统的确定性软件
传统软件可以通过固定输入和固定输出做通过或失败判断。但大模型具有概率性，相同问题运行多次，结果也可能存在差异。
更复杂的是，Agent 不只是输出一段文字。它还可能经历意图识别、任务规划、工具选择、参数填写、数据检索和多轮交互。即使最终答案看起来正确，中间过程也可能存在风险。
例如，一个财务 Agent 得到了正确数字，但调用了不应访问的数据源；一个客服 Agent 最终解决了问题，却在过程中泄露了不该出现的信息；一个多智能体系统完成了任务，但重复调用工具，导致延迟和成本明显增加。
因此，企业不能只看一次最终答案，而要衡量 Agent 在多次运行中的能力、一致性和过程质量。
第三，没有基线，就无法发现版本回退
Agent 上线前后会持续发生变化：
- Prompt 被调整；
- 模型被替换；
- 新工具被加入；
- 工具描述或参数发生修改；
- 知识库和外部 API 更新；
- 多智能体的任务拆分方式发生变化。
这些改动并不一定直接报错，却可能让工具选择准确率下降、拒答能力减弱，或者让延迟和 Token 用量上升。
如果上线前已经建立基准数据集和指标，团队就能在每次改动后重新评估，判断哪些能力提升了，哪些能力出现回退。没有基线，所谓“优化”很容易变成凭感觉调 Prompt。
这也是为什么白皮书强调：每一次修改 Prompt、增加工具或更换模型，都应该重新运行评估。
第四，评估体系是上线的质量门控
生产级 Agent 不能只凭“演示效果不错”上线，而应设置明确的质量门槛。
不同 Agent 的指标不完全相同，但通常需要覆盖以下方面：
- 任务是否真正完成；
- 工具是否选择正确；
- 参数是否填写准确；
- 回答是否基于可信信息；
- 是否正确拒绝越权或不适当请求；
- 是否符合业务规则和合规要求；
- 延迟与调用成本是否在可接受范围内；
- 需要人工处理时，是否能够正确升级。
其中，格式、参数、延迟和成本等确定性指标，可以通过代码规则验证；回答相关性、忠实性等半客观指标，可以使用经过校准的 LLM-as-a-Judge；高风险业务判断和主观维度，则需要领域专家或 Human-in-the-loop 参与。
只有关键指标达到预设门槛，版本才进入生产。评估由此从“参考分数”变成真正的上线通行证。
第五，完整评估必须看到 Agent 的执行过程
如果评估只检查最终答案，企业很难定位问题根因。
《企业生产级智能体开发部署指南》建议同时覆盖三种评估粒度：
- 黑盒评估：检查最终输入和输出，判断结果是否正确、完整和相关；
- 玻璃盒评估：查看完整 Trace，分析工具选择、调用顺序和中间步骤；
- 白盒评估：检查单个参数、单次工具调用或具体执行步骤。
例如，Agent 给出错误答案时，黑盒评估只能发现“结果错了”；玻璃盒评估可以发现它选错了工具；白盒评估则能进一步定位某个参数格式是否填写错误。
因此，可观测性应从开发第一天开始建设。模型调用、工具调用、参数、返回值、延迟和 Token 用量，都应沉淀为后续评估的数据基础。
第六，上线前的评估体系还要为生产监控做准备
开发阶段的测试集永远无法覆盖真实用户的全部表达方式。Agent 上线后，还会遇到新的场景、边界问题和外部依赖变化。
如果上线前已经建立评估指标、Trace 采集和回归机制，企业就可以在生产环境中：
- 按比例抽样真实会话；
- 监控关键指标是否下降；
- 发现模型或工具造成的静默漂移；
- 将真实失败案例加入评估集；
- 验证修复是否真正有效。
这时，评估不再是上线前跑一次的测试，而会形成持续循环：
可观测性负责看见问题，评估负责判断问题，优化负责解决问题。
企业上线前应至少完成哪些准备？
企业不必一开始就搭建庞大的评估平台，但至少应完成以下基础工作：
1.明确 Agent 的任务范围、禁止事项和人工升级条件；
2.建立一组有代表性的基准用例，覆盖常见请求、边界问题和拒答场景；
3.为任务完成、工具使用、安全、延迟和成本设置指标；
4.从第一天接入 Trace，记录模型与工具调用过程；
5.用代码规则、模型评判和人工审核组合评分；
6.设置上线门槛，并在每次改动后运行回归评估。
亚马逊云科技还在白皮书中介绍了 Amazon Bedrock AgentCore Evaluations，可用于按需评估、批量回归和生产流量在线评估，帮助企业把评估嵌入开发、发布与生产运行流程。
总结
企业 AI Agent 上线前必须先做评估体系，是因为评估决定了项目目标、验收标准和风险边界，也决定了上线之后能否发现回退、定位错误并持续改进。
没有评估，团队只知道 Agent 曾经成功运行过；有了评估，团队才能回答：它在什么场景下可靠、失败发生在哪里、当前版本是否达到生产门槛，以及下一次改动是否真正带来了提升。
如需进一步了解 Evaluation-first、三种评估粒度、质量门控和生产反馈闭环，您可以通过亚马逊云科技官网首页 Banner，进入《企业生产级智能体开发部署指南》专题页面，填写信息后免费下载完整白皮书。