Orca论文：从Token预测到状态预测的AI范式革命

🚀 30+款热门AI模型一站整合，DeepSeek/GLM/Qwen 随心用，限时 5 折。 👉 点击领海量免费额度

今天来看一个可能改变AI行业走向的研究——Orca论文。这篇由北京智源人工智能研究院（BAAI）57位作者联合署名的论文提出了一个颠覆性观点：当前所有AI模型都在"预测下一个Token/帧/动作"的范式上走错了方向，真正的智能应该是"预测下一个状态"。

Orca论文全称"The World is in Your Mind"，于2026年6月发布。它挑战了从GPT到Sora再到机器人模型的整个AI行业基础范式。最核心的突破在于：通过125,000小时视频训练，Orca在没有使用任何动作标签的情况下，在真实机器人任务上达到了36.6%的成功率，比专业基线模型高出近10个百分点。

这篇文章将深入分析Orca的核心思想、技术实现路径、对现有AI范式的挑战，以及它对开发者、研究者和投资人的实际意义。我们会重点拆解"状态预测"与"Token预测"的本质区别，探讨这种新范式在机器人学习、视频生成和语言理解中的应用潜力。

1. 核心能力速览

2. Orca的核心思想：从表面预测到本质理解

当前主流AI模型存在一个根本性问题：它们都在预测输出界面的下一个单元，而不是理解世界的本质状态。

GPT预测下一个词，本质上是统计模仿。给它"今天天气"，它输出"真好"，不是因为它理解天气，而是训练数据中这个组合出现频率高。Sora预测下一帧，本质是像素插值，只是在做图像的平滑过渡。机器人预测下一个动作，本质是模式匹配，看到杯子就输出"抓取"，因为它见过类似场景。

Orca论文尖锐指出："智能不应该仅仅是能做Next-Token-Prediction的模型、能生成高质量视频的Next-Frame-Prediction模型，或者能生成高质量动作的Next-Action-Prediction模型。它应该被定义为构建世界状态并支持多样化下游任务的能力。"

2.1 状态预测的数学框架

Orca提出了一个清晰的状态预测框架。世界的状态S随时间演化，变化受两部分因素驱动：

• 隐式动力学z：物理规律、对象属性、场景动态、环境力场
• 显式条件c：人类指令、事件描述、任务目标

当Δ大于0时预测未来状态，Δ小于0时回溯过去状态。举个例子：一个球在空中，状态包含它的位置、速度、重力影响、空气阻力，而不仅仅是"球在画面中间"这个像素信息。

2.2 婴儿式学习范式

Orca的学习框架模仿人类认知发展路径，分为无意识学习和有意识学习：

无意识学习直接从连续视频中学习物理规律，不需要任何标注标签。就像婴儿观察世界一样，通过125,000小时视频捕获密集的物理状态转换——每一帧之间的变化，每个物体的运动轨迹，每次碰撞的因果关系。

有意识学习则用语言描述的事件和视觉问答来组织因果结构。比如"球落地了"、"门被打开了"等有意义的语义事件，将无意识经验转化为可推理的因果模式。

这种设计让Orca不仅是一个更好的视频或语言模型，而是试图构建通用世界基础模型（general world foundation model），能够同时处理语言、视觉和行动的共享世界表征。

3. 技术突破：零动作监督学会机器人行动

Orca论文最令人震惊的发现是在机器人任务上的表现。在预训练阶段，Orca没有使用任何动作标签，完全零动作监督。它只是观看了125,000小时的视频来理解世界如何运转。

当接入轻量级动作解码器进行真实机器人测试时，结果令人侧目：

• 在真实机器人分布外（OOD）测试中，Orca-4B达到36.6%的成功率
• 同等规模的专业机器人基线模型π₀.5只有27.6%
• 差距接近10个百分点，且是在没有动作标签预训练的前提下

这意味着传统机器人学习需要昂贵动作标注的时代可能结束。机器人公司不再需要雇佣标注员为每一帧视频打上动作标签，只需要让模型"看电视"就能隐式学会行动策略。

3.1 多任务基准测试表现

除了机器人任务，Orca在多任务视频基准测试中也表现出色：

• MVBench、TemporalBench、3DSRBench和SWITCH四个基准平均得分51.8
• 同等规模的Qwen3.5-4B只有46.7
• 显示出在视频理解和推理方面的优势

这种跨模态的强泛化能力证明了"状态预测"相比"Token预测"的优越性。模型真正理解了物理世界的运作规律，而不是简单地记忆表面模式。

4. 对现有AI范式的挑战

Orca的提出对当前AI行业的基础设施投资逻辑构成了根本性挑战。

4.1 对大型语言模型的挑战

如果"预测下一状态"真的比"预测下一个Token"更接近理解的本质，那么OpenAI、Google、Meta等巨头万亿美元级别的算力投资可能需要重新审视。

当前的大模型竞赛集中在"更大参数、更多Token、更多算力"的方向上。但Orca暗示，真正的智能可能不需要无穷大的参数，而是需要对物理世界的高效建模。这对于专注于语言模型的DeepSeek、Qwen等玩家意味着需要重新思考"语言模型"的边界——语言只是世界状态的一种读出口，而不是世界的全部。

4.2 对机器人学习的革命

对于机器人领域，Orca提供了一个更激进的未来方向。传统的监督学习需要大量精确的动作标注，成本高昂且泛化能力有限。Orca证明：理解物理世界本身就隐含了行动能力。

当模型真正理解了"抓"这个动作的物理含义——手的形状、力的方向、物体的重量、接触面的摩擦——它自然就知道怎么抓了，不需要显式的动作指令。这将大幅降低机器人学习的门槛和成本。

4.3 对视频生成模型的启示

虽然Sora已被关停，但视频生成模型的核心问题依然存在：它们是在插值像素还是在理解场景物理？Orca的状态预测框架为视频生成提供了新思路——不是预测下一帧像素，而是预测场景的物理状态变化。

这种基于物理理解的生成方式可能产生更符合现实规律的视频内容，避免当前视频模型中常见的物理规律违反问题。

5. 实际应用场景分析

5.1 机器人技能学习

Orca的零动作监督学习为机器人技能学习开辟了新路径。传统方法需要为每个任务收集大量示范数据并精确标注，而Orca式的学习只需要让机器人观看相关场景的视频。

应用场景包括：

• 家庭服务机器人：通过观看人类日常活动视频学习家务技能
• 工业机器人：观察工人操作学习装配和搬运任务
• 医疗机器人：观看手术视频学习精细操作技能

5.2 视频内容理解与生成

基于状态预测的视频理解能够更深入地分析视频内容，不仅识别物体和动作，还能理解物理过程和因果关系。

具体应用：

• 智能视频监控：不仅检测异常行为，还能预测行为后果
• 视频内容生成：生成符合物理规律的动画和特效
• 教育视频分析：理解实验过程和科学原理

5.3 物理推理与仿真

Orca的状态预测框架为物理仿真提供了新思路。传统的物理引擎基于明确的物理公式，而Orca可以通过观察学习隐式的物理规律。

潜在应用：

• 游戏物理引擎：更自然真实的物理效果
• 工程仿真：基于真实数据的学习型仿真
• 自动驾驶仿真：更真实的车辙和环境交互

6. 技术实现路径与挑战

6.1 训练数据要求

Orca的成功建立在125,000小时高质量视频数据的基础上。这要求：

• 大规模、多样化的视频数据集
• 密集的事件标注和VQA样本
• 跨场景、跨时间的连续性数据

对于想要复现Orca的研究团队，数据收集和标注将是首要挑战。

6.2 计算资源需求

虽然Orca-4B相比当前千亿参数模型规模较小，但训练过程中的计算需求仍然可观：

• 视频数据处理和特征提取
• 多模态对齐和融合
• 长序列的状态建模

实际部署时需要平衡模型规模与计算效率。

6.3 验证与评估体系

建立适合状态预测模型的评估体系是关键挑战。传统基于准确率、BLEU分数等的评估方法可能不再适用，需要开发新的评估指标来度量模型的世界理解能力。

7. 与其他技术路线的对比

7.1 与多Token预测对比

Vedant等学者提出的多Token预测技术试图通过同时预测多个后续Token来强迫模型学习更高层结构。这与Orca的方向有相似之处，但Orca走得更远——不是预测更多表面单元，而是直接预测本质状态。

7.2 与经典世界模型对比

Google DeepMind的世界模型专注于规划和控制，NVIDIA的Cosmos平台试图构建物理世界的基础模型。Orca的独特之处在于将状态预测作为统一框架，同时覆盖语言、视觉和行动模态。

7.3 与具身AI对比

具身AI强调智能体与环境的交互学习，而Orca通过被动观察就能获得行动能力。这为样本效率低的具身学习提供了新思路。

8. 开发与研究方向建议

8.1 对于AI研究者

• 探索状态预测在其他模态的应用
• 研究更高效的状态表示学习方法
• 开发适合状态预测的评估基准
• 研究小规模状态预测模型的可行性

8.2 对于工程师和开发者

• 关注Orca代码和权重的发布进度
• 准备多模态数据处理管道
• 学习状态预测相关的数学工具
• 探索在现有系统中的集成方案

8.3 对于技术决策者

• 重新评估AI技术路线图
• 关注世界模型方向的投资机会
• 平衡短期应用与长期技术布局
• 建立多模态数据收集能力

9. 实际部署考虑因素

9.1 硬件要求

虽然Orca-4B参数规模相对较小，但实际部署时需要考虑：

• GPU内存：至少16GB用于推理，更大内存支持批量处理
• CPU要求：多核处理器用于数据预处理
• 存储空间：大型模型权重和多模态数据集
• 网络带宽：远程API调用时的延迟要求

9.2 软件环境

• 深度学习框架：PyTorch或TensorFlow
• 多模态处理库：视频解码、图像处理等
• 分布式训练支持：多GPU或跨节点训练
• 部署工具：ONNX、TensorRT等优化工具

9.3 数据准备

成功应用Orca范式需要精心准备训练数据：

• 视频质量：高分辨率、稳定的视频源
• 标注质量：准确的事件描述和VQA标注
• 数据多样性：覆盖不同场景、光照、角度
• 时序连续性：保证视频片段的连贯性

10. 潜在风险与限制

10.1 技术风险

• 复现难度：论文细节可能不足以完全复现
• 计算成本：训练过程仍然需要大量资源
• 泛化能力：在未见领域的效果待验证
• 评估困难：缺乏成熟的状态预测评估标准

10.2 应用风险

• 数据偏见：训练数据中的偏见会影响模型表现
• 安全考虑：在关键任务中的应用需要谨慎验证
• 伦理问题：生成内容的真实性和责任归属
• 版权问题：训练数据的版权清理和合规使用

10.3 商业化挑战

• 技术成熟度：从论文到产品的距离
• 市场竞争：现有技术路线的替代压力
• 用户接受度：新范式需要时间被市场接受
• 生态系统：配套工具和社区的支持程度

11. 未来发展方向

Orca为AI发展指明了几个重要方向：

11.1 理论发展

• 状态预测的数学理论基础完善
• 与世界模型、因果推理等理论的融合
• 小样本学习和迁移学习能力的提升
• 对意识、理解等认知概念的建模

11.2 技术演进

• 更高效的状态表示和压缩方法
• 跨模态状态预测的统一框架
• 实时状态预测和决策系统
• 状态预测与强化学习的结合

11.3 应用拓展

• 在科学发现中的应用：物理、化学、生物等领域
• 在创意产业中的应用：艺术、设计、写作等
• 在教育领域的应用：个性化学习和智能辅导
• 在医疗健康中的应用：诊断辅助和手术规划

Orca论文的价值不仅在于提出了一个新的技术方案，更在于它促使整个AI行业重新思考智能的本质。在当前所有AI都在预测下一个Token、下一帧、下一个动作的时候，Orca提醒我们：真正的理解可能在于预测世界的下一个状态。

这种范式的转变如果被验证有效，将影响从算法设计到硬件架构的整个AI技术栈。对于从业者来说，现在正是关注这一方向、积累相关技术能力的关键时期。建议密切关注Orca后续的代码发布和社区发展，同时开始思考如何将状态预测的思想应用到自己的项目中。

🚀 30+款热门AI模型一站整合，DeepSeek/GLM/Qwen 随心用，限时 5 折。 👉 点击领海量免费额度