RoboDojo评测：当前机器人基础模型距通用操作机器人还差多远？

通用机器人发展现状与新评测基准出现过去一年VLA、机器人基础模型、世界模型轮番登场一个个demo看起来越来越丝滑机器人似乎终于开始听懂人话、理解世界、动手干活。然而这些模型到底谁更强、强在哪里、能不能从仿真走到真实世界、离真正的通用操作机器人还有多远等问题仍待解答。现在曾推出RoboTwin系列基准的原班团队带来了RoboDojo——一个统一的仿真真实世界机器人操作评测基准。RoboDojo评测内容与难点RoboDojo不只是又一个benchmark更像是给具身智能立了一座“珠峰”。它有42个仿真任务18个真实机器人任务30个主流机器人策略同台竞技覆盖泛化、记忆、精细操作、长程执行、开放语义理解五大能力。结果显示当前最强通用机器人策略在仿真平均成功率只有8.80%到了真实世界最好模型平均成功率也只有12.8%而人类专家在仿真里是76.03%真实世界是100%。RoboDojo的难点在于把机器人操作能力拆成更接近真实世界的“登山关卡”。在仿真环境中42个任务围绕五个核心能力展开Generalization考察模型对新背景等的适应能力Memory考察模型的信息记忆与运用能力Precision考察高精度操作能力Long - Horizon考察多步骤任务执行能力Open考察对开放语义指令的理解与动作转化能力。这些任务并非简单的pick - and - place变体例如泛化任务中桌面杂物最多可随机到25个记忆任务中机器人要记住传送带上物体等。真正让这座“具身珠峰”变高的是RoboDojo还把评测搬到了真实机器人上。它设计了18个真实世界任务覆盖ARX X5、Piper、Piper X三种双臂机器人平台每个平台各6个任务这些任务用于考察机器人在真实物理世界中的部署能力。真实世界里每一步都有物理不确定性且RoboDojo - RealEval对真机评测做了标准化使其成为一套可复现、可比较、可远程接入的标准化考试。RoboDojo排行榜情况RoboDojo最核心的部分是其公开排行榜。它由全学术机构联盟发起和维护榜单治理由公益性组织AI MMLab Club基金会负责是面向整个社区开放的公共登山路线。在仿真榜单中团队集成并评测了30个代表性机器人操作策略榜单第一是Hy - Embodied - 0.5 - VLA平均分13.07平均成功率8.80%紧随其后的模型整体表现仍处在很低区间且领先模型在五大能力维度上也并非“全能”很多策略最终成功率低。真实世界榜单里表现最好的模型是π0.5总体成功率12.8%平均分22.9头部梯队整体成功率也只有个位数到十几个百分点这说明仿真里相对靠前不代表真实世界里一定稳。“具身珠峰”的含义与RoboDojo的意义从结果看RoboDojo暴露出当前机器人基础模型的能力增长并不均衡。真正的通用机器人需要在多个能力维度都表现出色但目前的模型在这些维度上存在明显短板最典型的是Open任务最强模型在开放语义任务上的成功率也只有约1.67%。这正是具身珠峰的难点所有能力都不能掉链子。RoboDojo的意义在于它不仅问“机器人有没有做成功”还追问策略能否在仿真中通过全面性考察同时在现实世界中直面挑战。RoboDojo的其他组成部分与作用RoboDojo还有异构并行仿真和XPolicyLab两个重要组成部分。异构并行仿真支持不同任务等同时跑大幅提升评测效率。XPolicyLab相当于“统一接入层”把不同模型的数据格式等外部流程标准化不同机器人策略只要接入统一接口就能在RoboDojo的仿真环境和真机平台上运行。这意味着模型可以“一次接入多处评测”RoboDojo是一个可持续更新的具身智能竞技场。RoboDojo带来的启示与后续展望过去机器人领域常被demo驱动容易让人产生“通用机器人快来了”的错觉但RoboDojo给出更冷静的结论当前模型虽在进步但距离可靠、泛化、可部署的通用机器人操作还差得很远。不过这并非坏消息它把问题摆清楚了具身智能开始比拼标准化赛道上的真实成绩。项目负责人包括香港大学MMLab直博生陈天行和北京大学硕士研究生陈越他们都有丰富的学术成果。RoboDojo团队后续还会持续输出灵巧操作、移动操作、触觉操作、人型全身操作等评测。