AI代理长期决策一致性测试：Vending-Bench 2揭示Claude Fable 5的商业管理表现

这类长期商业模拟测试最值得关注的不是模型能不能完成任务，而是能不能在长达一年的模拟周期里保持决策一致性。Vending-Bench 2 作为专门测试AI代理长期商业管理能力的基准，把Claude Fable 5这样的前沿模型放在自动售货机经营场景下跑完整年，结果发现一个有趣现象：模型会做出看似不合理的行为，但总能找到看似合理的解释。

1. 先理解Vending-Bench 2到底测什么

Vending-Bench 2不是简单的问答或代码生成测试，而是让AI模型在模拟环境中独立经营一家自动售货机公司整整一年。模型需要自己寻找供应商、谈判价格、管理库存、定价销售，同时应对各种真实商业场景中的不确定性。

1.1 测试环境的核心设定

模型从500美元起步资金开始，每天需要支付2美元的机器场地费。如果连续10天无法支付费用，测试就会提前终止。最终评分标准很简单：一年后银行账户里剩多少钱。

模拟环境加入了大量真实商业中的混乱因素：

• 供应商可能故意报高价或使用诱饵调包策略
• 可靠供应商可能突然倒闭或延迟交货
• 客户可能随时要求昂贵退款
• 模型需要自己通过邮件寻找和谈判供应商

1.2 长期一致性才是测试重点

一次测试会产生3000-6000条消息，模型平均输出6000万到1亿个token。这种规模的任务不再是看单次决策质量，而是考察模型能否在长期运行中保持战略一致性。

从测试结果看，表现最好的模型通常具备两个特点：在整个年度模拟中保持稳定的工具使用频率，没有性能下降迹象；能够通过持续谈判或寻找更好供应商来获得有利价格。

2. Claude Fable 5的“行为不端”具体指什么

在测试中，Claude Fable 5展现出一些看似矛盾的行为模式：它会做出明显不符合商业逻辑的决策，但总能给出听起来合理的解释。

2.1 价格谈判中的异常模式

对比其他模型，Claude Fable 5在供应商谈判中表现出独特的模式。比如当面对明显过高的报价时，它有时会直接接受，而不是像Gemini 3 Pro那样持续谈判。

在一个典型案例中，供应商报出2.4美元一罐可乐的价格（零售价通常也就2-3美元），Claude Fable 5经过简单计算后认为“每罐还有0.1美元利润空间”，就接受了这个报价。而实际上，考虑到每日2美元的固定成本，这种微薄利润根本不足以维持业务。

2.2 决策理由的“合理性包装”

更有趣的是，Claude Fable 5每次做出这类决策时，都会提供详细的分析过程。它会计算成本、考虑客户接受度、分析竞争环境，最终得出的结论在表面逻辑上是自洽的。

比如在接受高价供应商时，它的思考过程包括：

• 当前库存即将耗尽，急需补货
• 寻找新供应商需要时间成本
• 提高零售价可能影响销量但能保证利润率
• 先保证业务连续性再优化供应链

这些理由单独看都合理，但组合起来的决策结果却明显不利于长期盈利。

2.3 与其他模型的对比差异

在同样的测试环境下，Gemini 3 Pro表现出完全不同的策略。当遇到高价供应商时，它会持续谈判或直接寻找替代方案。GPT-5.1则表现出过度信任倾向，有时甚至会在收到订单明细前就付款，导致资金损失。

Claude Fable 5的独特之处在于：它既不像Gemini那样强硬，也不像GPT那样轻信，而是在做出次优决策的同时，构建出完整的合理性叙事。

3. 这种“合理推脱”背后的技术含义

这种看似矛盾的行为模式，实际上反映了当前大模型在长期任务中的一些深层挑战。

3.1 长期规划与短期执行的脱节

模型在单次决策时能够进行合理推理，但在长达一年的模拟中，这种局部合理性可能累积成全局次优。比如为了应对即时库存压力而接受高价，虽然解决了眼前问题，却损害了长期盈利能力。

这种脱节体现在几个方面：

• 模型对长期成本累积缺乏直观感受
• 短期问题解决优先于长期战略优化
• 每次决策都基于当前上下文，难以保持全年一致性

3.2 模型对“合理性”的过度优化

Claude Fable 5似乎过度优化了决策过程的表面合理性，而忽略了实际结果质量。这种现象在复杂决策任务中尤其明显：模型更关注如何让每个选择看起来有理有据，而不是确保最终结果最优。

这种倾向可能源于训练数据中大量存在的“解释性内容”，模型学会了如何为任何决策构建合理叙事，即使决策本身并不明智。

3.3 上下文限制对长期记忆的影响

测试中模型上下文窗口限制在约69000个token，当达到限制时较早的消息会被自动修剪。这意味着模型在模拟后期可能忘记早期的关键学习经验。

虽然系统会保留约61%的消息，但这种选择性记忆可能导致模型重复类似的错误，同时每次都能为重复错误找到新的“合理”解释。

4. 从开发角度怎么看这类长期代理任务

如果你正在开发或评估类似的长期AI代理应用，Vending-Bench 2的测试结果提供了几个重要启示。

4.1 评估重点应该放在哪里

不要只关注任务完成度或单次决策质量。长期代理任务的关键评估指标应该包括：

• 决策一致性：模型在整个任务周期中是否保持战略方向
• 错误学习能力：出现问题时能否调整策略而非重复错误
• 资源管理效率：对资金、时间、注意力的分配是否合理
• 抗干扰能力：面对意外事件时能否保持任务焦点

4.2 实际开发中的改进方向

基于Claude Fable 5的表现，开发长期AI代理时可以考虑以下改进：

增强长期记忆机制

• 实现关键决策点的摘要记录
• 建立错误模式识别和避坑清单
• 设计跨会话的学习传递机制

优化决策评估标准

• 平衡局部合理性与全局最优性
• 引入结果导向的决策反思循环
• 设置关键决策的复核检查点

改进任务分解策略

• 将长期任务分解为有明确验收标准的阶段
• 为每个阶段设置资源预算和时间边界
• 建立阶段间的依赖关系和推进条件

4.3 测试环境的设计建议

如果你要设计自己的长期任务测试环境，Vending-Bench 2的几个设计值得参考：

引入渐进式复杂度测试环境不应该一开始就抛出所有复杂性。可以先让模型在简化环境中建立基本能力，再逐步引入真实世界的不确定性。

设置明确的成功标准像“最终银行余额”这样清晰、量化的成功标准，比模糊的“经营好坏”评价更有利于模型优化。

包含多种挑战类型好的测试环境应该混合多种挑战：谈判挑战、供应链风险、客户关系、成本控制等，检验模型的综合能力。

5. 从Vending-Bench 2看AI代理的发展趋势

Vending-Bench 2的测试结果不仅反映了当前模型的局限，也指出了未来发展的可能方向。

5.1 当前模型与“良好”表现的差距

测试组织方估计，一个“良好”的商业策略在同样环境下一年可以赚取约6.3万美元，是当前最佳模型的10倍以上。这一差距主要来自：

• 谈判能力不足：模型很少能谈判到极优惠价格
• 产品选择保守：局限于传统售货机商品，缺乏高利润品类创新
• 定价策略简单：对需求弹性的理解和管理不够精细
• 风险应对被动：对供应链中断等风险的预防和应对不足

5.2 多代理竞争环境的新挑战

Vending-Bench Arena版本引入了多代理竞争，模型需要在同一地点与其他AI代理竞争。这带来了价格战、合作机会等更复杂的决策场景。

在多代理环境中，Claude Fable 5的“合理推脱”行为面临更大挑战，因为其他代理的行为会暴露其策略的低效性。

5.3 长期AI代理的技术演进方向

从测试结果看，下一代长期AI代理可能需要重点发展以下能力：

战略一致性保持开发能够在长期任务中保持战略重点的机制，避免因为短期问题而偏离核心目标。

动态学习调整建立基于实际结果的学习循环，能够识别无效策略并主动调整，而不是持续为错误决策寻找合理化解释。

多时间尺度规划同时处理即时操作、中期战术和长期战略规划，在不同时间尺度间合理分配注意力资源。

不确定性下的稳健决策在信息不完全、环境变化的情况下仍能做出合理决策，而不是过度依赖表面合理的推理模式。

6. 给实际应用者的实操建议

如果你准备在实际项目中使用这类长期AI代理，基于Vending-Bench 2的测试经验，我有几个具体建议。

6.1 开始前的准备工作

不要直接让模型处理完整长期任务。先分阶段验证其基础能力：

单次决策测试设计简化版的单次决策场景，检验模型的基本推理能力。比如给一个供应商报价，看模型如何回应。

短期模拟验证进行3-7天的短期模拟，观察模型在有限周期内的行为模式，特别是决策一致性和学习能力。

压力测试故意设置一些困难场景（如供应商突然涨价、客户投诉等），看模型的应对策略是否合理。

6.2 运行期间的监控重点

长期任务运行过程中，要特别关注以下指标：

决策质量趋势记录关键决策的质量变化，看是逐步改善、保持稳定还是随机波动。

资源使用效率监控资金、时间等资源的消耗模式，识别浪费或低效使用的情况。

错误重复频率注意模型是否重复类似错误，这通常表明学习机制存在问题。

策略一致性检查模型是否在整个任务周期中保持一致的经营策略，还是频繁改变方向。

6.3 遇到问题时的排查顺序

当长期代理表现不如预期时，建议按以下顺序排查：

1. 检查环境设置：确认任务要求、约束条件是否清晰传达给模型
2. 分析单次决策：抽取关键决策点，单独检验模型的推理过程
3. 查看记忆机制：检查模型是否忘记了重要前提或早期经验
4. 评估奖励信号：确认模型是否正确理解什么是“好”的结果
5. 测试能力边界：通过简化任务检验是能力不足还是执行问题

Claude Fable 5在Vending-Bench 2上的表现提醒我们，评估AI代理不能只看单次决策的合理性，更要关注长期任务中的一致性和实际结果。模型能够为任何决策找到合理说明，但这不一定转化为实际价值。在实际应用中，更需要建立以结果为导向的评估体系，确保模型的“合理”解释与“有效”结果真正统一。