从传统测试到 AI 质量工程：权限与日志才是大模型 Agent 的“生死线”-拓冰建站

聊《做过测试的人学大模型，哪些经验可以直接迁移？》之前，先说一句实在的：别急着背概念，先看它在真实项目里到底解决什么问题。

摘要

> 摘要：当大模型 Agent 从 Demo 走向生产，测试工程师会发现——精度不再是瓶颈，权限隔离、日志审计与可观测性才是决定项目能否真正落地的关键。本文基于多个真实项目复盘，探讨测试背景工程师如何迁移能力，在 Agent 开发中建立真正可信赖的质量防线。

---

一、测试岗位的“隐性迁移”：你不是在学新工具，是在补工程短板
二、AI 辅助测试：别只当“Prompt 调包工”，要懂“测试左移”
三、自动化用例生成：从“功能覆盖”到“行为覆盖”
四、Agent 测试框架：别只关注“推理质量”，要关注“系统质量”
五、质量评估：别只信“跑分”，要看“上线后”
六、总结：测试转大模型，不是换赛道，是升级战场

一、测试岗位的“隐性迁移”：你不是在学新工具，是在补工程短板

很多人以为转大模型测试，就是学会用 Prompt、调 LangChain、跑一下 LLM 推理。其实不是。真正卡住人的，是“能跑但不能用”。

我见过一个团队，Agent 能自主查订单、改状态、发邮件，Demo 里完美无缺。一上生产，权限混乱——某个 Agent 角色误删了另一模块的用户数据，因为“它以为它有权限”。没有日志审计，出事三天后才发现问题，根本不知道是谁、在什么时候触发了什么操作。

测试工程师最懂什么？边界、异常、权限、日志、回滚。这些在单体系统里是“基础功能”，在 Agent 系统里却是“生命线”。

> 真实案例：某电商客服 Agent 上线后，有用户在凌晨接到系统自动退款，金额异常。排查发现是 Agent 在没有校验用户身份的情况下触发了“批量退款”工具，而该工具未做细粒度权限隔离。系统日志中只有“执行成功”，没有“谁执行了什么参数”。

这不是模型的问题，是工程化质量缺失。

---

二、AI 辅助测试：别只当“Prompt 调包工”，要懂“测试左移”

很多测试转大模型的人，习惯用 LLM 生成测试用例。比如：“帮我写一个支付失败的场景用例”。模型确实能生成，但往往忽略边界条件、权限控制、并发冲突等真实问题。

我的建议是：把 AI 当成“测试助手”而不是“测试替代者”。

比如，你可以让 LLM 帮你分析某个 Agent 的工具调用链，找出潜在风险点：

# 示例：让 LLM 分析 Agent 工具调用链中的权限风险 tools = [ {"name": "refund_user", "params": {"user_id": "str", "amount": "float"}}, {"name": "send_email", "params": {"to": "str", "content": "str"}}, {"name": "update_order", "params": {"order_id": "str", "status": "str"}} ] # 用 LLM 分析：refund_user 是否应限制在特定角色调用？send_email 是否有内容过滤？ # 输出建议：为 refund_user 添加角色校验逻辑，对 send_email 内容进行敏感词过滤

这个分析不是靠模型“猜”，而是靠测试思维：谁可以调用？调用边界是什么？失败怎么办？

---

三、自动化用例生成：从“功能覆盖”到“行为覆盖”

传统测试关注“功能是否按预期执行”，而 Agent 测试要关注“行为是否可预测、可追溯、可回滚”。

比如一个 Agent 在“自动审批请假”场景，它可能：

识别请假类型（事假/病假）
查询考勤规则
调用审批系统
发送邮件通知

传统测试只测“审批是否成功”，而我们要测：

是否越级审批？（权限）
审批记录是否完整写入日志？（可观测）
审批失败是否有回滚？（稳定性）

我们可以用 LLM 生成测试场景，但必须人工介入判断合理性。比如：

> 用户输入：“帮我写一个 Agent 在‘自动审批请假’中的异常测试用例。”
>
> LLM 输出：“测试请假时长超过3天的情况。”
>
> 你判断：“这个不够。应该补充：测试无权限用户调用审批接口的行为，以及审批失败后是否触发告警。”

测试的价值，不在于生成用例，而在于“筛选”和“定义”用例。

---

四、Agent 测试框架：别只关注“推理质量”，要关注“系统质量”

很多团队用 LangChain、LlamaIndex 搭建 Agent，然后只测它的回答准不准。这远远不够。

真正该测的是：

工具调用是否被正确授权？
日志是否记录了关键操作（谁、何时、做了什么）？
是否支持“撤销”或“回滚”？
多 Agent 协作时，有没有冲突或死锁？

我推荐一个简单的测试框架思路：

def test_agent_permission_and_logging(agent, user_role): # 1. 验证当前角色是否有权调用该工具 assert agent.has_permission(user_role, "refund_user") # 2. 执行操作前记录上下文 before_log = capture_log() # 3. 执行 result = agent.execute("refund_user", user_id="U123", amount=100.0) # 4. 验证日志中是否有完整记录 after_log = capture_log() assert "refund_user" in after_log assert "user_id=U123" in after_log assert "amount=100.0" in after_log # 5. 验证是否支持回滚（如可配置） if agent.supports_rollback: agent.rollback() assert not is_refunded("U123")

这个框架不依赖模型，只关注行为、权限、日志、回滚——这些才是测试工程师最熟悉的领域。

---