亚马逊云科技：Agent落地遇“GenAI鸿沟”，评估或是破局关键

从SDLC到ADLC评估是核心亚马逊全球副总裁储瑞松曾提过企业构建AI Agent时底层技术平台可采购但评估标准需自主掌控核心竞争壁垒在于自有黄金数据集和评估标准。上世纪60年代计算机科学发展催生了SDLC雏形其核心是划分开发工作阶段。随着AI智能体承担大量工作ADLC方法论出现与SDLC不同它是个不断迭代的飞轮。ADLC的六个环节会从最后一个回流到第一个更新评估标准和基准数据集。企业管理者启动Agent项目前要先定义“好”的Agent上线后要建立可观测性系统让系统架构可被评估。判断Agent行不行很难每个Agent都应有专门评估方案。评估方法论两根支柱构建Agent时测试没问题但接入真实流量会“间歇失效”。对Agent来说能力与一致性不同只能靠成规模、反复评估逼近“每次都能做到”。指南提出评估方法论的“两根支柱”支柱一决定评估粒度有黑盒、玻璃盒、白盒三种支柱二决定分数分量有机械可验证、半客观、默认拒评三层。两根支柱互相正交能全方位评估Agent输出结果。AWS开发客服Agent采用“真实数据虚拟客户模拟”双轨评估法。评估数据集质量决定评估质量上限企业需建设高质量测试集。不同形态Agent关注不同维度Agent交付可衡量业务结果是判断“好不好”的最终标准。让Agent走进生产对企业是新挑战。