Grok 4.5登顶编程基准 模型竞赛进入新阶段

Elon Musk昨天发了条推文:"Try Grok Build, it's awesome!" 顺手丢了个x.ai/cli的链接。

本来以为又是常规推广,但点进去看了下X Freeze团队的详细数据,发现事情没那么简单——Grok 4.5在Long-Horizon Terminal-Bench(长周期终端基准测试)中以最高通过率排名第一,超过了Claude Fable 5、Claude Opus 4.8和GPT-5.6-sol。

怎么说呢,这个结果确实有点意思。

这个基准测试不一样

先交代一下背景。Terminal-Bench不是那种跑几个Python题就出分的玩具评测。它测试的是AI在终端环境中执行完整任务链的能力——从一个初始指令开始,AI需要自己决定先做什么、查什么、遇到错误怎么处理、最终完成目标。说白了就是模拟一个工程师拿到需求后的完整工作流程。

评测标准也很严格。不是你写了个大概能跑的代码就得分——必须是完全正确、一个错误都没有才算通过。只统计完美得分的任务

翻了下原文看到这个评分标准时,愣了几秒。说实话,大多数编程评测的标准都没这么严。通常拿到部分分就算数,但Terminal-Bench的binnary pass rate(二元通过率)只有"全对或全错"两个结果。这意味着,模型是真的有能力从头到尾完成复杂任务,而不是碰运气混及格。

具体成绩意味着什么

Grok 4.5在这个指标上排第一,超过的对手包括Claude Fable 5(Anthropic今年发布的旗舰模型)、Claude Opus 4.8和GPT-5.6-sol。

真正的问题在于:这个排名的含金量有多高?

我认为有几个角度值得关注。

第一,Grok 4.5可能是目前定位最明确的编程模型之一。x.ai没有去卷通用知识问答、多模态识别这些指标,而是把精力集中在终端编程场景上。Grok Build这个CLI工具就是面向终端环境的,吃自己的狗粮,模型自然优化了这个方向。

第二,这个结果反映了一个被很多人忽略的趋势——编程模型的竞争力正在从"能写多少代码"转向"能在复杂环境中独立完成多少任务"。一两年前大家讨论的是代码生成的质量(单函数、单文件的准确率),现在看的是端到端的任务完成率。这其实是一个更接近真实开发场景的评估方式。

但事情没有这么简单

问题在这里:Terminal-Bench的评测环境是由x.ai自己发布的。虽然评测方法看起来合理,但自家的模型在自家的测试集上排名第一,说服力总归要打个折扣。

我翻了下Hacker News上对这个结果的讨论,发现争议主要集中在三点:一是评测数据的透明性(有没有可能存在数据泄露,即模型在训练时见过测试任务);二是和其他评测结果的交叉验证(同期的SWE-bench上Grok 4.5表现如何);三是实际使用体验是否真的比Claude Fable 5好。

这里容易被忽略的是:Grok Build本身是一个很好的产品。不管你认不认可Grok 4.5的排名,X.ai/cli这个CLI工具的设计确实有亮点。它直接集成到终端,支持长上下文对话,不需要离开命令行。对于终端重度用户来说,这个体验可能比在IDE里开个侧边栏更顺手。

从实际部署来看,我在几台工作站上试过Grok Build,体验很特别的一点是:它在一个SSH会话里就可以完整工作,不需要GUI环境。这对跑在服务器上的开发者来说是个实实在在的优势——你ssh到服务器,直接开始用AI编码,不用在本地IDE和远程服务器之间来回切。

对开发者意味着什么

我认为Grok 4.5的登顶传递了一个信号:AI编码模型的竞赛正在从"谁的基础能力更强"转向"谁在真实场景中更可用"。这不是一个简单的benchmark分数可以完全衡量的。

对普通开发者来说,这意味着选择会越来越多。去年你想用AI编程助手,Copilot或Codex基本是唯一选择。今年有Claude Code、Grok Build、Codex、Copilot、CodeGemini,每家都在不同的维度上做差异化。这是个好事——但选择多了,反而更难判断哪个工具真正适合自己

举个具体的例子。上周我用Grok Build试了一个任务:给一个Spring Boot应用添加Redis缓存层。不是那种"写个demo"的级别,是真要在生产代码里插入。Grok Build先读取了现有的所有配置文件和Repository层代码,然后建议了具体的缓存策略——哪些方法适合缓存、TTL设多少、缓存穿透怎么处理。整个过程大概15分钟,中间我只纠正了一次缓存的key命名规范。如果放在去年的AI编程助手,大概率需要反复对话才能达到这个效果。

说白了,真正的检验还是在日常开发中:你打开终端,丢给它一个真实的需求,它能不能从头到尾帮你搞定,中间遇到报错能不能自己debug,做完的事情质量能不能接受。这些不是benchmark分数能告诉你的。

关于维基框架

维基框架关注企业应用开发中的长期维护问题。在实际项目中,业务系统往往同时涉及权限、微服务、接口协议、部署环境等复杂因素,因此我们希望提供一套更容易扩展和维护的基础框架。

官网:framewiki.com

Gitee:gitee.com/wiki-framework

GitHub:github.com/wiki-framework

示例项目:gitee.com/cdkjframework/framewiki-example

📄 许可证:MulanPSL-2.0(木兰宽松许可证,第2版)