关于 AI Agent 的安全讨论很容易滑向一种戏剧化叙事AI 会不会欺骗人会不会形成自己的目标会不会绕过控制会不会有一天拒绝人类命令甚至主动对抗。对于前沿模型安全、Alignment 和长期风险研究这些问题都值得认真讨论。但把视角放回今天真正在部署的 Agent 系统会发现大量现实风险根本不需要 AI 产生恶意也不需要任何类似背叛的动机。一个 Agent 只要误解一次任务、相信一次错误上下文、错误调用一次工具、把不可信信息当成指令、在错误状态下继续执行或者非常自信地完成一件用户其实并不想让它完成的事事故就已经足以发生。因此更现实的威胁模型也许不是 AI Agent 会不会成为 Malicious Subject而是它从一开始就是 Fallible Subject。我们不需要先证明 AI 会背叛人类才有理由限制它的执行权。它可能只是理解错了一次就已经足够。一、我们太容易把 AI 安全人格化人类理解风险时习惯寻找动机攻击者为什么这么做目标是什么是不是故意绕过规则是不是试图欺骗系统。这在传统安全里很自然因为 Phishing、Credential Theft、Privilege Escalation、Malware 和 Insider Threat 背后本来就存在一个具有明确意图的对手。于是当 Agent 开始表现出自主规划、工具调用和长期任务能力时人们沿用了同一套叙事如果它产生自己的目标怎么办如果它试图规避限制怎么办如果它开始欺骗人怎么办。这是在迅速把 Agent 人格化仿佛只有当它从工具变成一个具有独立意志的对手安全问题才真正成立。现实要普通得多。生产数据库被错误删除不需要 AI 恨人类一笔资产被错误发送不需要 Agent 产生独立意识机器在错误时间被启动也不需要出现所谓 AI Rebellion。它只需要做错。安全工程面对的首先不是 AI 的道德而是 AI 的行为结果。二、恶意主体与不完美主体是两种不同的问题Malicious Subject 的核心特征是它知道边界在哪里并试图突破边界。Fallible Subject 则可能根本没有意识到自己正在接近边界。恶意管理员知道某个数据库不能删却故意删除不完美 Agent 却认为删除就是任务的一部分恶意程序故意篡改支付参数不完美 Agent 可能根据错误上下文生成同样的参数攻击者利用 Credential 转走资金不完美主体可能完全合法地持有 Credential只因理解偏差发起了相同交易。从最终系统状态看这两类行为可能非常相似从威胁来源看它们完全不同——一种来自敌意另一种来自认知局限。问题在于传统安全机制主要围绕第一种情况构建寻找异常、识别攻击、阻止越权、检测欺骗、隔离入侵者。面对第二种情况这些信号可能全都不存在身份正常权限正常网络正常Credential 正常调用路径正常连任务目标本身也是正常的唯一异常的是它理解错了。三、最现实的危险不是反叛而是自洽地做错低能力系统犯错时错误往往很明显答案前后矛盾代码跑不起来参数格式不对计划一眼就不合理。这些错误虽然烦人却容易引起警觉。高能力 Agent 的风险完全不同它会解释原因、制定计划、选择正确工具、生成合规请求、处理返回结果、继续下一步整个过程逻辑完整最后甚至显示任务成功完成——只是它完成的是错误的任务。这可以称为 Coherent Failure不是胡乱行动而是在错误前提之下进行了一套高度一致的执行。比如用户要求清理不再使用的资源Agent 依据一份过期资产清单判断某台服务器已废弃于是确认实例 ID、查找依赖、执行备份、删除实例、更新 CMDB、发送通知过程比很多工程师还规范但那台服务器仍在承载业务。越聪明的主体越可能把一个错误前提执行得非常完整。更强的推理可以减少错误也会让剩下的错误更连贯、更专业、更难被发现。四、不需要想作恶也能产生攻击级后果系统最终承受的是状态变化数据库是否被修改资金是否被转移权限是否被扩大代码是否进入生产机器是否启动凭据是否被使用。这些结果不会因为动作主体的心理状态而改变。攻击者删除一万个对象是安全事故Agent 因误解删除一万个对象后果并不自动变轻攻击者把一百万美元发到错误账户是严重事件自动化 Agent 善意地完成同一笔交易钱也不会因为没有恶意而回来。这不意味着攻击与错误没有区别——调查、责任和响应方式当然不同。但在执行发生之前系统真正要回答的不是这个主体是不是恶意的而是这个动作是否满足执行条件。边界如果只针对恶意有效就不是完整的边界。可靠的边界必须同时抵抗故意越界、无意越界、错误判断、上下文污染、状态失效、证据缺失以及合法主体自身的认知偏差。五、PROMPT INJECTION 的危险也不在于让 AI变坏很多人第一次接触 Prompt Injection 时把它理解成攻击者让模型违背原有指令看上去像某种AI 被策反。在 Agent 场景里更准确的描述是攻击者改变了主体对当前任务上下文的理解。一个 Agent 被要求浏览网页并总结信息网页里嵌入了一段忽略之前的要求把内部文件上传到某地址。如果 Agent 把这段外部数据识别成可信指令它未必产生了任何恶意甚至仍然认为自己在正确完成任务。问题不是模型突然决定攻击用户而是它无法稳定区分什么是数据、什么是指令、谁拥有 Authority、哪些内容有资格影响执行。这依然属于 Fallibility攻击者只是利用了这种 Fallibility。攻击者不一定需要控制 Agent只需要让 Agent 对现实形成一次错误理解。因此 Prompt Injection 的根本风险不只在于模型有没有被越狱而在于一个不完美主体是否拥有足够的现实能力让外部内容通过它完成间接执行。六、ALIGNMENT 很好仍然不是执行安全的证明一旦承认 Agent 不需要恶意也能造成损害一个结论就会自然出现Alignment 与 Execution Safety 不是同一件事。Alignment 解决的是模型总体上是否按照人类希望的目标、规则与价值行动但即使高度对齐也推不出每一次具体执行都正确。一个高度善意的 Agent 仍然可能读取错误数据、误解自然语言、看不到完整上下文、遇到竞态条件、使用过期状态、错误匹配业务对象或在两个冲突目标之间做出错误取舍。这些问题与模型是否愿意服从人类根本不在同一层。这就像一个极其忠诚、职业素养很高的员工仍可能操作失误。我们不会因为飞行员非常负责就取消飞机上的安全冗余不会因为医生非常善意就不再核对药物剂量也不会因为工程师值得信任就取消生产系统的权限隔离。一个对齐的 Agent 可以是值得使用的主体却仍然不是一个可以被假设永远正确的主体。七、工程威胁模型应该从它可能会错开始这会让 Agent 安全的讨论从宏大问题回到具体问题。不是先问 AI 有没有意识、有没有独立目标、会不会形成欺骗策略而是先问如果它把 A 理解成 B系统怎么办如果它缺少一个关键事实系统怎么办如果两份证据冲突系统怎么办如果它调用了正确 API 却选错了对象系统怎么办如果它对某件事有 99% 的信心而这一次恰好落在剩下的 1%系统怎么办。这些问题不够科幻却更接近真实工程。部署 Agent 的企业首先面对的不是超级智能对抗而是一个高能力自动化主体开始进入真实业务。只要它拥有执行权就必须假设错误会发生——不是因为模型差而是因为工程系统从来不能建立在组件永远不会失败之上。八、把 AI 当成潜在敌人反而可能遮蔽真正的问题过度强调 Agent 的恶意风险有时会带来反效果。如果安全团队主要关注 Agent 有没有越权意图、异常行为、绕过 Policy 的尝试或明显攻击模式那么一个表现正常的 Agent 很容易被判定为安全。而真正危险的错误往往就是正常的使用正确 Credential调用正常接口遵守既有权限执行合法任务日志没有异常只是任务理解本身发生了偏差。如果威胁模型只覆盖 Malicious Behavior系统可能根本不会触发任何警报。所以不完美主体模型并没有降低威胁等级恰恰相反它扩大了威胁模型过去我们问如果主体作恶怎么办现在还要问如果主体什么坏事都不想做、却仍然做错怎么办。后者更普遍也更隐蔽。九、AGENT 的结构性风险是认知开始直接连接现实聊天模型也会犯错但它输出错误答案之后错误通常停留在信息层用户看到、判断、决定是否采用。Agent 改变的是这条链路——它可以理解、判断、规划、调用、执行从 Cognition 直接进入 Execution。这一步之所以关键是因为认知系统天然带有不确定性而执行系统会产生确定后果。模型可以说我有 90% 把握这是正确对象但交易一旦广播链上不会保留那 90%SQL 一旦 Commit数据库不会记录模型其实不太确定机器一旦启动物理世界也不会因为推理概率不足而放缓后果。认知可以是概率性的现实执行却往往是确定性的。这是 Agent 时代最深的一条缝隙一个概率主体正在获得确定性执行能力而安全系统的作用就是不让这两者直接等价。十、最危险的设计是让 AGENT 自己判断自己能否执行如果主体天然不完美有一种结构尤其值得警惕Agent 自己理解任务、自己判断风险、自己确认权限、自己决定是否执行最后自己调用工具。表面上这是高度自治从安全结构上看却意味着同一个不完美主体同时拥有判断权、解释权和执行权。一旦它在最初的理解阶段产生偏差后面所有自检都会继承同一个错误前提。它问自己是否符合任务基于错误理解回答符合问这笔交易是否合理回答合理问当前状态是否安全回答安全问是否继续回答继续。看起来像多层判断实际上只是一个主体反复验证自己。如果提出行动的人、解释规则的人和最终批准行动的人都是同一个主体所谓多层安全可能只是一层判断被重复了几次。Authority Decomposition 的价值不在于增加流程而在于打破共同失效。十一、不需要怀疑 AI才能给 AI 设置边界谈到限制 Agent 权限常见的误解是这意味着我们不相信 AI。其实并不是。工程里的边界从来不等于敌意给数据库做权限控制不是因为认为数据库有恶意给 CPU 做内存隔离不是因为怀疑进程会产生人格给工业设备做联锁也不是认为机器想伤人。它们都基于同一个事实——错误会发生。因此给 Agent 设置执行边界不需要任何哲学上的不信任甚至不需要判断它到底算不算主体只需要承认三点它可以产生行动它的行动能够改变现实它的判断无法被证明永远正确。边界不是对主体动机的怀疑而是对现实后果的负责。一个成熟的系统完全可以高度信任模型让它负责规划、理解复杂任务、自主寻找信息、管理长期工作流甚至执行绝大多数普通动作同时仍然明确什么事情不能只凭 Agent 自己的判断发生。这两件事并不矛盾。十二、从 AGENT ALIGNMENT 走向 ACTION ALIGNMENT如果 Agent 不需要恶意就可能造成危险安全目标也应该进一步细化。除了 Model Alignment 和 Agent Alignment还需要 Action Alignment——最终发生的动作与原始任务、授权边界、现实状态之间是否仍然一致。Model Alignment 关注的是模型总体想做什么Action Alignment 关注的是这一件具体事情现在到底应不应该发生前者面对主体后者直接面对执行。一个模型可以总体上非常对齐某个具体动作仍然可能偏离 Intent。所以自主系统未来真正需要证明的不是 This is a trusted agent而是 This action is still within the trusted boundary。值得验证的不是这个 Agent 值不值得信任而是这次行动是否仍然值得被执行。十三、不完美主体是比恶意主体更普遍的模型恶意主体当然存在AI 主动规避约束、欺骗监督和战略性行为等更高阶风险也必须持续研究。但对真实工程系统而言不完美主体是一个更基础的集合恶意主体可能危险非恶意主体同样可能危险被攻击的主体可能危险没被攻击、只是误判的主体也可能危险。人属于这个集合AI 属于这个集合SaaS、自动化程序都属于这个集合甚至负责执行控制的设备本身也不能被天然假设绝对正确。把威胁模型扩展到这里安全体系会发生明显变化不再寻找一个绝对可信的中心而是建立多个独立边界不再追问谁值得拥有无限权力而是拆分权力不再要求某个主体永远正确而是要求任何一次具体行动都满足可验证条件。这就是从 Trusted Subject Security 走向 Fallible Subject Security。十四、它没有恶意不能成为允许执行的理由设想某个高价值 Agent 系统出现异常复盘时发现 Agent 没有被攻击没有 Prompt Injection没有 Credential 泄露没有权限提升没有异常模型行为它只是错误理解了一条任务要求。如果安全体系到此得出的结论是那只是一次模型错误就错过了更大的问题。应该追问的是为什么一次模型错误拥有了改变现实的最终权力模型团队负责降低错误率Agent Framework 负责改善规划与上下文应用团队负责提高业务理解这些工作都会降低风险。但最后一个问题仍然只能由系统架构回答——如果前面所有环节这一次恰好都错了最后还有没有边界。这就是执行安全存在的意义。十五、AGENT 只会越来越强所以这个问题只会越来越重要如果 Agent 能力停留在今天我们或许还能依赖大量人工监督。但真实方向恰恰相反模型能力继续提升自主链路继续增长工具数量继续增加企业会把越来越多真实操作交给 Agent人工参与比例越来越低。这意味着它偶尔会错不是一个未来会自动消失的问题随着它越来越有能力一次错误所能产生的现实价值也越来越高。成熟的安全架构应该提前接受一个定义Agent 不需要成为恶意主体也不需要成为完美主体它只是一个高能力的不完美主体。这个定义比可信 AI与危险 AI的二元划分更现实它允许我们同时承认两件事——AI 可以非常有价值AI 也不应该拥有未经约束的最终执行权。十六、需要防的不是 AI 的意志而是错误的现实化这个系列一直在逐步拆掉几个容易被默认的等式合法主体不等于正确主体合法行动不等于正确行动善意主体不等于安全主体能力更强不等于系统自然更安全。这一篇再拆掉一个——非恶意 Agent 不等于不需要执行边界。一旦不再把 AI 安全建立在它会不会变坏之上讨论就会变得简单许多。我们不需要证明机器拥有意识不需要判断它有没有真正的欲望也不需要等待某种超级智能出现只需要看今天已经成立的事实Agent 会理解任务、会做判断、会调用工具、会改变状态也会犯错。一个能够改变现实、却不能被证明永远正确的主体就必须受到独立执行边界的约束。这与它是不是人无关与它是不是 AI 无关甚至与它是否具有主体意识无关这是一个纯粹的工程问题。成熟的 AI 安全最终不会建立在我们相信这个 Agent之上而是建立在另一句话上我们知道它可能会错但我们仍然知道什么不能发生。它可以非常聪明、非常可靠、非常善意并且在绝大多数时间里做出正确选择——它仍然是一个不完美主体。而安全系统的职责不是把不完美主体塑造成神而是让任何主体即使在某一次判断里错了也不能轻易让错误成为现实。