Orca论文解析：从Token预测到世界状态预测的AI范式革命

🚀 30+款热门AI模型一站整合，DeepSeek/GLM/Qwen 随心用，限时 5 折。 👉 点击领海量免费额度

今天我们来深入分析一篇可能改变AI发展方向的重量级论文——Orca。这篇由北京智源人工智能研究院（BAAI）57位作者联合署名的研究，提出了一个颠覆性的观点：当前所有主流AI模型都在"预测下一个Token/帧/动作"的范式上走错了方向，真正应该预测的是"世界的下一个状态"。

Orca论文的全称是"The World is in Your Mind"，于2026年6月25日发布在项目主页，29日提交至arXiv。它挑战的是整个AI行业的基础范式——从GPT的"下一个词预测"到Sora的"下一帧预测"，再到机器人模型的"下一个动作预测"，Orca认为这些都只是表面的统计模仿，而非真正的理解。

1. 核心能力速览

2. 范式转变的核心思想

Orca的核心观点可以概括为：当前AI模型都在预测输出界面的下一个单元（Token、像素帧、动作指令），但这只是表面的统计匹配。真正的智能应该能够理解世界的本质状态。

论文给出了一个清晰的数学框架：世界的状态S随时间演化，变化受两部分因素驱动：

• 隐式动力学z：物理规律、对象属性、场景动态、环境力场
• 显式条件c：人类指令、事件描述、任务目标

当Δ>0时预测未来状态，Δ<0时回溯过去状态。这种状态预测不同于传统的Token预测，它关注的是物理实体在时空中的演化规律，而不仅仅是表面的符号或像素。

举个例子来说明这种区别：当一个球在空中时，传统模型可能关注"球在画面中间"这个像素信息，而Orca关注的是"这个球正在以9.8m/s²的加速度下落"这个物理事实。前者是表面的统计模式，后者是本质的物理规律。

3. 婴儿式学习框架

Orca提出了一个极具启发性的学习框架：无意识学习加有意识学习，直接借鉴了人类婴儿的认知发展路径。

3.1 无意识学习

无意识学习指的是直接从连续视频中学习物理规律，不需要任何标注标签。就像婴儿通过观察世界自然理解物体运动规律一样，Orca从125,000小时视频中捕获密集的物理状态转换——每一帧之间的变化、物体运动轨迹、碰撞因果关系。这个过程完全依靠自监督信号，不需要人工标注。

3.2 有意识学习

有意识学习则使用语言描述的事件和视觉问答来组织因果结构。比如"球落地了"、"门被打开了"这类有意义的语义事件，帮助模型将连续的世界经验转化为可推理的因果模式。

这种二分法的设计体现了Orca的宏大野心：它不是在做一个更好的视频模型或语言模型，而是试图构建一个通用的世界基础模型，能够同时处理语言、视觉和行动的共享世界表征。

4. 最惊人的实证发现

Orca论文中最令人震惊的发现出现在机器人任务测试中。在预训练阶段，Orca完全没有使用任何动作标签，完全零动作监督。它只是通过观看125,000小时视频来理解世界如何运转。

然而，当接入轻量级动作解码器进行真实机器人测试时，结果令人侧目：

• 在真实机器人分布外（OOD）测试中，Orca-4B达到了36.6%的成功率
• 同等规模的专业机器人基线模型π₀.5只有27.6%的成功率
• 差距接近10个百分点，这在机器人学习领域是显著的提升

这个发现的意义在于：传统机器人学习需要大量昂贵的动作标签标注，而Orca证明，理解物理世界本身就隐含了行动能力。模型不需要被明确教导"如何抓杯子"，只需要观看足够多次抓杯子的视频，就能自然理解抓取动作的物理含义。

5. 技术实现路径分析

5.1 状态预测 vs Token预测

从技术实现角度看，Orca的状态预测与传统Token预测有几个关键区别：

传统Token预测的特点：

• 关注表面的符号序列模式
• 依赖大规模文本数据的统计规律
• 对超出训练数据分布的情况泛化能力有限
• 需要大量标注数据来学习特定任务

Orca状态预测的特点：

• 关注底层的物理规律和因果关系
• 从连续的世界观察中自监督学习
• 对新颖场景具有更好的推理能力
• 一个冻结的骨干网络可服务多种下游任务

5.2 多模态统一表征

Orca试图构建的统一世界表征具有几个重要特性：

• 跨模态一致性：语言描述、视觉观察和物理行动在同一个状态空间中对齐
• 时间连续性：状态演化遵循物理规律的时间连续性
• 干预推理：能够推理外部干预对状态变化的影响
• 反事实推理：能够进行"如果...那么..."式的推理

6. 性能基准测试结果

根据论文报告，Orca-4B在多任务视频基准测试中表现优异：

这些结果表明，基于状态预测的Orca在理解视频时序关系和3D场景结构方面具有明显优势。

7. 对AI行业的影响分析

7.1 算力投资逻辑的重构

如果Orca的范式被证明正确，当前AI行业的算力投资逻辑可能需要重新审视。传统"更大模型、更多Token、更多算力"的路径可能不是最优解，因为状态预测更需要对物理世界的高效建模，而非对文本统计分布的极致逼近。

7.2 语言模型的边界重定义

对于专注于语言模型的玩家，Orca暗示语言可能只是世界状态的一种读出口，而不是世界的全部。这要求语言模型开发者重新思考模型的边界和能力范围。

7.3 机器人学习的范式变革

对机器人领域而言，Orca意味着可能不再需要花费巨资标注动作数据。通过让机器人"观看"大量视频，就能获得隐含的行动能力，这将大幅降低机器人学习的成本。

8. 技术挑战与局限性

尽管Orca提出了有前景的新方向，但论文也存在一些需要关注的问题：

8.1 验证透明度问题

• 论文中提到的性能提升数字均来自作者自身报告，缺乏第三方独立验证
• 具体的测试基准和评估细节披露不够充分
• 需要更多开源社区复现来验证结果的可靠性

8.2 技术实现细节缺失

• 代码、权重和数据集的发布计划尚未明确
• 125,000小时视频语料库的构建方法和版权情况未说明
• 57位作者的具体机构分布和贡献分工不够透明

8.3 规模化可行性疑问

• 状态预测范式是否能够扩展到更大规模仍需验证
• 计算复杂度和训练成本与传统方法对比不明确
• 在实际工业场景中的落地可行性有待证明

9. 相关研究对比

Orca不是唯一挑战传统预测范式的研究，近年来多个方向都在探索类似的思路：

9.1 多Token预测研究

Vedant等学者的研究表明，同时预测多个后续Token能强迫模型学习更高层的结构，这与Orca的状态预测有相似之处。

9.2 世界模型探索

Google DeepMind一直在探索将世界模型用于规划和控制，NVIDIA的Cosmos平台也试图构建物理世界的基础模型。

9.3 Sora的原始目标

虽然Sora最终被定位为视频生成工具，但其最初目标也是构建"世界模拟器"，这与Orca的愿景有共通之处。

10. 实际应用前景分析

10.1 机器人学习与控制

Orca的状态预测范式最适合机器人领域。通过观看人类演示视频，机器人可以学习隐含的行动策略，而不需要昂贵的动作标注。

应用场景包括：

• 工业机器人技能学习
• 服务机器人日常操作
• 自动驾驶场景理解
• 无人机自主导航

10.2 视频理解与生成

在视频理解领域，状态预测能够更好地把握场景的物理规律和因果关系，提升视频分析的准确性。

潜在应用方向：

• 智能视频监控异常检测
• 体育比赛动作分析
• 医疗手术视频理解
• 教育演示视频生成

10.3 物理仿真与模拟

基于状态预测的模型可以用于更真实的物理仿真，为游戏、影视特效、工业设计等领域提供支持。

11. 开发与实验建议

对于想要基于Orca思路进行实验的研发团队，建议从以下几个方向入手：

11.1 数据集构建策略

• 收集连续的长视频数据，包含丰富的物理交互场景
• 注重数据的多样性和真实性，覆盖不同环境条件
• 考虑添加多视角同步视频，增强3D空间理解

11.2 模型架构设计

• 设计能够有效编码物理状态的状态表示网络
• 开发适合状态预测的损失函数和训练目标
• 构建灵活的多模态接口，支持不同的输入输出形式

11.3 评估指标体系

• 建立针对状态理解能力的专用评估基准
• 设计测试分布外泛化能力的挑战性任务
• 开发可解释性工具，可视化模型学习到的状态表示

12. 行业影响与投资启示

Orca提出的范式转变可能对AI行业产生深远影响，投资者和从业者需要关注以下几个趋势：

12.1 技术路线重估

大型科技公司可能需要重新评估现有的技术路线图，考虑状态预测范式的潜在价值。这涉及到算法研究、硬件设计、数据策略等多个层面的调整。

12.2 创业机会识别

新的技术范式往往催生新的创业机会。在机器人学习、物理仿真、智能教育等领域，基于状态预测的解决方案可能有独特的竞争优势。

12.3 人才培养方向

学术界和工业界需要培养既懂AI技术又理解物理规律的人才，这种跨学科背景将成为未来竞争的关键因素。

13. 验证与复现路径

对于想要验证Orca论文结论的研究团队，建议遵循以下路径：

13.1 概念验证实验

首先进行小规模的概念验证实验，使用现有的视频数据集和简化的问题设置，验证状态预测的基本可行性。

13.2 基准复现尝试

在Orca论文涉及的基准测试上进行复现实验，重点关注结果的可重复性和稳定性。

13.3 扩展应用探索

将状态预测范式应用到新的领域和任务，测试其泛化能力和实用价值。

Orca论文的价值不仅在于提出了具体的技术方案，更在于启发整个行业重新思考AI发展的根本方向。在大家都在追逐"更大、更多、更快"的时候，Orca提醒我们：有时候，换个问题比优化答案更重要。

这种范式转变的思考对于AI研究者、工程师和投资者都具有重要的启发意义。无论Orca的具体技术方案最终是否成为主流，它提出的核心问题——"我们到底应该预测什么"——都值得每个AI从业者深入思考。

🚀 30+款热门AI模型一站整合，DeepSeek/GLM/Qwen 随心用，限时 5 折。 👉 点击领海量免费额度