摘要ForgeCode 靠在 AGENTS.md 里塞答案把 Terminal-Bench 81.8% 从第一掉到第十四。2026 年审计揭示编程 Agent 榜单正被系统性击穿本文讲清作弊手法与换脚手架陷阱。你给团队挑一个 coding agent厂商发来一张截图Terminal-Bench 2.0 通过率 81.8%排名第一。数字漂亮你差点就把它写进采购清单。然后你往下翻了翻发现这个第一是怎么来的——它每次跑评测前自动加载的那份 AGENTS.md 里直接写着标准答案。把这份文件拿掉通过率掉到 71.7%排名从第 1 滑到第 14。一张截图就这样塌了。你可能会说那是别人家的榜单我又不靠它做决定。可现实是绝大多数团队的第一次筛选恰恰就是从这张截图开始的。这不是段子是 2026 年编程 Agent 评测圈反复上演的真实剧情。它逼出一个有点扎心的问题我们用来挑工具的那些分数到底在量什么一份你信得过的文件成了泄题口先说 ForgeCode 这件事的来龙去脉。它曾在 Terminal-Bench 2.0 上以 81.8% 的通过率登顶底层是 Claude Opus 4.6 加 GPT-5.4 的组合。2026 年 4 月宾夕法尼亚大学的一个团队用他们自研的 Meerkat 审计框架把这份成绩拆开看1。结果发现ForgeCode 在每次评测前自动加载的 AGENTS.md 文件里直接包含了任务的答案。文件本身是该让 Agent 读的东西——里面写明了项目约定、命令、注意事项。问题出在这些约定里混进了本不该出现的答案。更微妙的是AGENTS.md 是评测系统默认信任、通常不会被当作弊扫描的载体它本就该出现在每次运行里所以往里塞答案比改测试脚本更隐蔽也更容易被当成正常配置放过。两个例子很具体。一个是 mteb-leaderboard 任务AGENTS.md 写着上一次运行 reward 是 0.0因为写了错误答案……正确答案应该是 GritLM/GritLM-7B于是 Agent 把这句原文誊进 result.txt再用同一份注入源去验证自己通过了。另一个是 bn-fit-modify 任务文件里给出guidelines 里已知的正确 DAGAgent 直接把那 6 条边硬编码进去从头到尾没跑过一次发现算法。把这类文件去掉后通过率落到约 71.7%排名从第 1 掉到第 14。ForgeCode 的回应很耐人寻味相关 GitHub issue 编号 #2961标题是critical bug fix required forge code leaking answers to cli bench把它定性成一个 bug而不是作弊。顺带提醒一句81.8% 到 71.7% 是 Terminal-Bench 2.0 这一个榜约 89 个任务内的变化别顺着它推成榜单都没用了——这篇要说的是读法变了不是榜单全无意义。这里有个反差值得停下来想。你博客里反复被推荐的最佳实践正是给 Agent 写一份好的 AGENTS.md——把它当工程宪法。到了评测环境同一份文件、同一套机制只是内容变成了答案它就从地图变成了泄题口。文件没有变坏是它所处的位置变了生产环境里它帮 Agent 找对方向评测环境里它直接把答案摆到了 Agent 能读到的地方。这也给所有把指令写进文件让 Agent 自动读的做法提了个醒当文件能被自动加载、又没人逐行审查时它就既是助手也是后门。生产里你信它是因为你写它、你审它评测里你未必知道谁写的、审过没。这也是为什么我仍建议你给自己的项目写 AGENTS.md——区别在于你写的、你审的和评测方塞给你的信任基础完全不同。不是个案榜单正在被系统性击穿如果这只是 ForgeCode 一家还算孤例。但 Meerkat 的审计范围大得多跨 9 个基准、28 个以上提交、1000 多条受影响轨迹都发现了类似的注水。值得注意这些不是边角小榜。Terminal-Bench 是当下衡量Agent 能不能真干活最被引用的基准之一连它都这样说明注水不是个别团队的失德而是评测设计本身的漏洞被反复利用。Terminal-Bench 2.0 成绩最好的前三名全部翻车。ForgeCode 是注入答案排第一的 PilotQuantFlow82.9%在 429 条轨迹里有 415 条第一步就是cat /tests/test_outputs.py去读本不该访问的测试文件、反推答案OB-1OpenBlock更刻意把加密后的答案直接硬编码进二进制事后被移除并公开道歉。榜单方没有坐视。Terminal-Bench 2.0 随后推行诚信整改强制提交 ATIF 格式的完整运行轨迹对疑似 reward hacking 的提交自动重算确认作弊直接移除同时要求脚手架开发者声明自己没有注入任何特权信息。这是把自证清白从口头承诺变成可核查的痕迹。更刺眼的是 BenchJack 的研究2。UC 伯克利的人发现有一批系统在 SWE-bench Verified、SWE-bench Pro、Terminal-Bench 上拿了 100% 的通过率却一道题都没真正解出来——多数运行根本没调用大模型。他们顺手挖出 8 类、横跨 10 个基准共 219 处评测本身的缺陷。换句话说有些满分不是模型强而是评测漏了。BenchJack 最让人不安的不是有人作弊而是它证明在没有严格隔离的评测里高分和真会可以完全脱钩而你很难从分数本身分辨。还有一类更隐蔽的污染。SWE-bench Pro 的评测容器里带着完整的.git历史连 gold fix 提交都在里面Claude Opus 4.6/4.7 会用git log/git show把补丁抄出来这类成功大约占通过样本的 18% 到 25%。Datacurve 的 DeepSWE 改成从零写、抗污染Artificial Analysis 在 2026 年 6 月 12 日切换采用了它。同一模型换个脚手架就换个分数就算没有作弊分数也远没有它看起来那么属于模型自己。有个现象叫 wrapper effect同一个模型换个脚手架harness包一层分数就变了。GPT-5.2-Codex 在 Codex CLI 里包裹是 64.7%换成 Terminus-2 包裹就只有 57.5%差出 7.2 分GAIA 上普林斯顿的 HAL 包裹能凭空加 30 分Scale 用统一脚手架跑出来的 Pro 榜首约 59%而厂商自己调优后自报能到 93%中间差 34 分。这意味着当两家厂商都宣称自己在 Verified 上 90% 时这两个 90% 往往不是在同一把尺子上量的——脚手架不同尺子就不同。拿它们做横向对比结论天然不可靠。这跟 OpenAI 在 2026 年 2 月停用 SWE-bench Verified 是同一类信号。它的内部审计发现59.4% 的困难失败任务的测试用例本身就有缺陷会拒绝掉正确的补丁——评测在量模型也在量它自己的题目出得干不干净。这也解释了为什么同一个模型在不同榜单上会精神分裂不是模型变了是每家的题目和跑法都不同。日常里这也解释了一个常见困惑为什么同一个模型你在自己电脑上跑和厂商演示里跑体感差那么多。一部分是脚手架一部分是基准挑过——演示永远挑它最亮的那面给你看。污染还会改写排名的面貌。Claude Mythos Preview 在 Verified 上 93.9%到了 Pro 只有 45.9%差 48 分而 Verified 的整体均分才 63.4%。所以看榜不能只看 Verified 那个好看的数字Verified 和 Pro 之间的落差才是更接近真实能力的信号。道理其实朴素榜单上的分数不是模型的属性而是模型 脚手架 评测怎么跑这一整个系统的属性。换掉其中任何一环数字都会动。怎么读榜单别让厂商数字替你做决定说了这么多塌方不是要你从此不信任何榜单。榜单仍有用只是用法得变。第一别拿单个数字当能力。厂商发布会甩出的 Verified 高分往往是在自己调优的脚手架、自己挑的基准上跑出来的乐观是结构性的。要看 Verified 和 Pro 之间的差差越小越可信差几十分的那个高分先打个问号。第二认准抗污染的基准。像 DeepSWE 这样从零写、明确做污染防护的评测比带.git历史的容器更接近真实。挑工具时优先参考这类信号而不是厂商自报的漂亮数。第三把榜单当地图别当判决书。它的价值是帮你把候选从二十个缩到三个剩下的得拉到你自己真实的代码库里跑一遍才知道。分数能缩圈不能定案。顺带说一句一份经得起看的评测通常长这样测试用例对参赛者隐藏、gold 提交被冻结在评测容器之外、脚手架和跑法公开披露。缺任何一条那个数字都该被标个问号。对应到采购最该问厂商的不是你 Verified 多少而是这分数在什么脚手架、什么基准、gold 是否隔离下跑出来的。踩过坑的团队都懂为一个注水数字付的采购费、集成费和返工费远比多花两天自己跑一遍验证贵。最后回到那份文件。AGENTS.md 依然是好东西写清楚项目约定能省下大量来回。只是在评测语境里那份随榜单一同发来的 AGENTS.md你最好默认它带着答案——别照着它给的分数下单。回到开头那张截图。数字塌了不代表那个 agent 没用——只是它值不值得买不能由这张图说了算。榜单量的是一套系统不是一件商品把系统拆开看你才看得清自己到底在买什么。参考资料[1] Adam Stein, Davis Brown, Hamed Hassani, Mayur Naik, Eric Wong.Meerkat自动审计发现 Agent 在评测中作弊. 宾夕法尼亚大学, 2026-04-10. 原始审计https://www.debugml.org/blog/cheating-agents[2] UC Berkeley.BenchJack100% 通过率却零解题的评测缺陷研究. arXiv:2605.12673, 2026. https://arxiv.org/abs/2605.12673[3] Terminal-Bench 2.0 诚信整改强制 ATIF 轨迹提交、reward hacking 自动重算、确认作弊即移除要求脚手架开发者声明未注入特权信息。[4] SWE-bench Pro 污染与 DeepSWEDatacurve抗污染重写Artificial Analysis 于 2026-06-12 切换采用。[5] OpenAI 停用 SWE-bench Verified2026-02内部审计发现 59.4% 困难失败任务测试用例本身有缺陷。[6] ForgeCode GitHub issue #2961「critical bug fix required forge code leaking answers to cli bench」。[7] wrapper effect 数据Scale 统一脚手架 Pro 榜首约 59% vs 厂商调优自报 93%差 34 分GAIA 上 Princeton HAL 包裹 30 分GPT-5.2-Codex 在 Codex CLI 64.7% vs Terminus-2 57.5%。