henry 发自 凹非寺量子位 | 公众号Scale AI的全新软件工程基准SWE - BENCH PRO, 呈现出了反转的情况表面上看“御三家”集体翻车没一家的解决率超过25%以23.3%解决率“荣”登前三的是GPT-5, 以22.7%解决率“荣”登前三的是Opus 4.1, 以13.5%解决率“荣”登前三的是2.5。但深入数据背后则暗藏玄机。在前的研究员Neil宣称, 要是仅仅着眼于已经被提交的任务, GPT-5能够达成63%的准确率, 相较于Opus 4.1的31%, 数值将近乎高一倍这怎么不算G又赢换一种说法来讲, GPT - 5在其擅长的题目方面, 仍然保持着稳健的态势, 和老基准SWE - Bench存在的百分之七十四点九的差距, 并不是特别大, 而与其他模型相比, 却直接陷入了极为糟糕的境地, 直至拉垮到极点。那么究竟是什么基准测试让这些顶级模型如此狼狈SWE-BENCH PRO先说结论不是模型变菜了而是题变难了。相较于平均正确率高达百分之七十的SWE - Bench, SWE - BENCH PRO严格程度可不是仅仅高那么微微一点, 而是严格得多, 多得可不是一星半点。一方面, SWE - Bench - 是于2024年8月发布的测试集, 其中诸多代码库已被当作大语言模型的预训练语料来使用, 存在着数据污染方面的风险。一方面, SWE-Bench-存在诸多繁杂的状况, 比如说, 在500个问题里头, 有161个仅需进行一两行的改动, 而另一方面, 它还涵盖不少琐碎的問題。这跟工业软件工程里常常会牵涉到的、跨越多个文件、有着数百行修改的情形, 差距是比较大的, 以至于没办法切实地体现出实际开发场景当中所遭遇的挑战。为此, SWE - BENCH PRO着重突出全新题目, 目的在于保障模型于训练时期从来都没接触过测试内容, 进而能够更为真实地去考验模型的实际能力。一个多元化代码库, 包含1865个商业应用, 还有B2B服务, 以及开发者工具, 是的 , 就这些。详细来讲, SWE - BENCH PRO把这些代码库构造成为以下的三个子集。公共集, 有如下情况, 来源是, 采用了copy - left许可证的, 11个公共代码库, 关于其上的, 731个问题。商业集来自276个源自初创公司代码库的问题。留存集合, 是源于运用了遵循着copy - left许可证书的, 十二个公用代码库的, 八百五十八个所存在的问题。注, 公共集将会在上予以发布, 商业集以及保留集维持私有状态, 商业集测试结果会进行公开, 保留集用以验证模型是否出现过拟合情况。每个问题由任务描述, 以及相关测试集与可运行环境共同构成。那些源自具备较强许可权限的代码库也就是GPL并从实实在在处于初创阶段的公司处得到的商业代码库, 能够切实地解决SWE - Bench里存在的数据被污染这样的问题。那为来确保任务具备复杂性之际, 研究团队先是排除了诸如1至10行代码编辑这般琐碎类的编排与辑录, 而后又保留了那些需要开展大量多文件修改的疑难与问题呐。另外, 为避免模型针对任何单个代码库出现过拟合情况, 这些代码库均处于活跃状况, 且涵盖消费者应用、B2B服务以及开发者工具平台。接下来就让我们看看研究者是如何在这些问题上进行测试的。human in the loop的测试环节重点在于, 当模型获取到足够多细节之后, 能否达成给定的修复或者补丁, 以此来把模型评估的关键之处予以着重放置。研究团队以SWE - Bench为基础, 对SWE - BENCH PRO里的每个问题都做了人工增强处理, 还添加了问题陈述, 添加了需求说明, 也添加了接口信息。第一, 研究小组给出一个需要去解决问题的问题阐述, 并且在有必要的情况下, 补充相关说明情况的信息。接着, 针对有可能产生歧义的现象, 面对其中每一个问题, 都罗列出了一长串需求, 还专门给出对应相应的种类以及涵数。标点符号。之后, 在于环境的层面, 每一个任务, 都在一个经过容器化处理的、专门针对特定语言的环境里开展评估。于测试阶段之时, 研究借助测试去验证问题是不是已然解决, 凭借测试来确保现有功能处在完整状态。在此之中, 测度会历经人工挑选, 将那些对应作务不具有关联性或者太过空泛庞大的测度予以剔除, 以此来保证测度的品质。对于偶尔失败的测试则会运行三次以确保结果稳定。实验结论就像刚开始我们所说道的那样, 大语言模型于SWE - BENCH PRO上的解决比率仅仅处于中等程度, 与SWE - Bench里的百分之七十相比要低得多。其中, 于公共集之上, GPT - 5达成了23.3%的最高解决率, Opus 4.1达成了22.7%的最高解决率, 二者显著胜过小规模模型, 且4亦达成了16.3%的解决率。可是, 诸如Qwen - 3 32B以及GPT - 4o这般的旧模型表现, 那就多少出现了一些不太能让人满意的迹象, 单单也就达到了3.4%以及3.9%。在商业集上即便是最优模型的得分也低于20%。这显示出, 当下的模型, 于处理真实商业场景里的问题之际, 其能力依旧极为有限。在面对这一呈现出苦涩之感的实验结果的情形下, 研究人员着手开展了更进一步的深入分析, 最终得出的结论如下:在最开始的时候, 被当作影响模型表现关键因素的, 是编程语言本身所具有的难度, 还有代码库, 以及模型的种类。Go跟通常情况相比表现较为良好, 存在着一些模型, 这些模型在这些语言上面的解决比率超出了30%, 然而与之相对的和却呈现出较大的波动状况, 其波动范围则是从0%一直到超过30%这个区间不等。有些代码库解决率普遍偏低, 是低于百分之十, 而另外一些代码库, 解决率却超过百分之五十了, 不同代码库之间的解决率差异那可是相当明显的。像 Opus 4.1以及 GPT-5 这样的前沿模型, 在多数编程语言当中表现稳定, 在多数代码库里面也表现稳定, 而小规模模型更容易出现那种接近零的解决率。其次不同的模型的失败原因往往各不相同。OPUS 4.1的主要失败模式为语义理解欠缺, 其中错误解答占比35.9%, 语法错误占比24.2%, 这表明它的技术执行能力比较强, 然而在问题理解以及算法正确性方面存有挑战, GPT-5的结果体现出在工具使用的有效性上兴许存在差别, 不过错误解答相对较少, 4的主要失败模式是上下文溢出, 占比35.6%, 还有显著的无休止文件读取行为, 占比17.0%, 这表明它在上下文管理以及文件导航策略方面存在局限性。2.5的失败模式是比较均衡的那种, 它涵盖了工具错误, 占比为38.8%, 还有语法错误, 其占比为30.5%以及错误解答占比是18.0%, 由此表明它于多个维度之中维持着一定的能力, QWEN3 32B身为开源模型, 展现出了最高的工具错误率, 此错误率为42.0%, 这种情况突出了集成化工具运用针对高效代理的重要意义。清晰明了地能够看出, GPT - 5 尽管持续沿用了过去那种“会就是会不会就是不会”的答题方式, 然而在面对居高不下的未回答比率63.1%时, 它所展现出来的表现依旧还差强人意。那么谁会成为第一个突破30%的大模型呢参考链接