NVIDIA最新“论证”！当前主流的端到端路线，在持续学习上是否存在根本性的缺陷？

NVIDIA：机器人持续学习靠的不是权重参数

——自我进化并无限累积

目录

01 权重是一种什么样的"记忆"

02 技能库：把经验变成可以调用的工具

03 两种学习模式，两种不同的成长曲线

04 端到端路线的自救：WAM 的生成式回放

05 技能库的边界，以及两条路线的融合

过去一段时间，机器人领域的主流思路是：用更大的模型、更多的数据，让机器人“端到端”地学会做事：看到图像、理解指令、直接输出动作。

这条路线确实带来了不少进展，但有一个问题始终没有解决：所有学习痕迹都封装在模型权重里，任务与任务之间完全割裂。机器人学一百次和第一次上手没有本质区别，下一个任务来了，它还是从头开始，好像从没学过任何东西。

近日，NVIDIA Jim Fan 团队发布了 ASPIRE 系统，直接点出了这个问题：

ASPIRE 代表一种全新的学习范式，「训练」不再是梯度下降，而是对技能的持续打磨；「训练好的模型」不再是一堆浮点权重，而是一个不断扩展的感觉运动技能仓库。

ASPIRE 的核心思路是：机器人每次完成或失败一个任务，都把这次的经验提炼成一段可以复用的代码技能，存入一个持续增长的“技能库”。下次遇到类似问题，直接从库里取用，而不是重新摸索。

这一学习范式也引出了一个更加值得深思的问题：

当前主流的端到端路线，在持续学习上是否存在根本性的缺陷？技能库范式又能走多远？

本文将结合 ASPIRE 系统展开讨论。

01 权重是一种什么样的"记忆"

要理解为什么端到端路线在持续学习上会遇到麻烦，需要先想清楚一件事：

神经网络的权重，到底是一种什么样的知识存储方式？

举个例子：

当一个 VLA 模型学会“把杯子放到托盘上”这个任务时，
它并没有在某个地方写下“先识别杯子，再规划路径，然后控制夹爪”这样的步骤；
它学到的，是数以亿计的权重参数之间的一种特定配置，这种配置在见过的训练数据上能产生正确的动作，但没有人能直接读懂它在“记住”什么。

这就是权重作为知识载体的本质：隐式、弥散、不可分割。

这种存储方式在单任务学习上没有问题，但一旦涉及到“继续学新东西”，麻烦就来了。

梯度下降的工作原理是：为了让模型在新任务上表现更好，就调整权重。

但这些权重同时也承载着旧任务的知识，调整新任务的权重，就不可避免地干扰旧任务的表征。

研究者把这个现象叫做“灾难性遗忘”，但其实它不是一种意外，而是权重这种存储方式的内在属性。

▲图1 | OpenVLA 架构：典型的端到端视觉-语言-动作模型，所有知识以隐式方式弥散在权重参数中，无法单独提取或修改某一条经验

有研究试图通过“经验回放”来解决这个问题：

在学新任务的同时，把旧任务的数据混进去一起训练，让模型不要忘。

这个方法有一定效果，但代价是必须永久保存大量旧任务的真实演示数据。在实验室里这还勉强可行，但在真实部署场景中，数据的积累是无止境的，存储和重训练的成本会随任务数量线性增长，很快就变得不现实。

更深层的问题在于，即便经验回放能让模型“不忘”，它依然无法让机器人真正“积累”。

回放是一种被动的防遗忘机制，而不是主动的经验沉淀：

机器人在第 50 个任务上学到的某个巧妙的抓取策略，不会自动变成第 51 个任务可以直接调用的工具；

它只是以某种方式影响了权重的分布，下次能不能用上，取决于新任务的输入是否足够相似，触发了相似的激活模式。

这种知识的传递方式，是统计意义上的，而不是逻辑意义上的。

ASPIRE 的研究中有一句话说得很直接：解决第 100 个任务的机器人，和解决第 1 个任务时相比，几乎没有变得更有经验。

这句话描述的不是某个模型的缺陷，而是整个端到端范式在经验积累上的结构性困境。

02 技能库：把经验变成可以调用的工具

ASPIRE 的出发点，是换一种方式来存储经验。

在 ASPIRE 的框架里，机器人的行为不是由权重直接生成的连续动作，而是由大语言模型写出来的 Python 程序：

程序里显式地调用感知模块、规划器、夹爪控制等接口。

这种"代码即策略"的方式，让机器人的行为变得可读、可调试、可修改。

▲图2 | ASPIRE 系统概览：执行引擎收集多模态追踪，智能体通过迭代调试与进化搜索精炼程序，验证成功的修复策略沉淀入持续扩展的技能库

但光是“用代码控制机器人”并不新鲜，ASPIRE 真正关键的一步，是把每次调试成功的经验提炼成一条可复用的技能，存进一个共享的技能库。

这里有一个重要的区分：技能库里存的不是完整的任务代码，而是更细粒度的“修复知识”。

比如，机器人在某个任务里发现，当导航目标太靠近桌子边缘时，规划器会反复报错，解决方法是从多个角度重新采样目标点。

这条经验被提炼成一条技能：遇到导航规划失败且目标靠近障碍物边界时，尝试从 45°、90°、180° 方向重新接近。

这条技能不属于任何一个具体任务，它是一条通用的调试策略，下次任何任务遇到类似情况，都可以直接取用。

▲图3 | ASPIRE 执行引擎的追踪引导调试：系统通过细粒度日志定位碰撞规划错误的根因，生成多角度接近策略，并将其作为可复用技能沉淀入库

这与权重存储经验的方式形成了鲜明对比。

• 权重里的知识是弥散的、不可分割的；
• 技能库里的知识是显式的、有边界的、可以单独提取和修改的。

一条技能有明确的适用条件，有清晰的修复逻辑，甚至有代码示例。

这种存储方式，更接近人类工程师积累经验的方式：不是把所有经验混在一起形成某种直觉，而是把有价值的经验整理成可以反复使用的方法论。

▲图4 | ASPIRE 技能库中积累的各类可复用技能，涵盖定位消歧、运动原语、导航恢复、物体抓取等异构类别，底部展示了仿真技能迁移至真实机器人的效果

技能库的另一个重要特性是：它的分类体系不是人为预设的，而是从机器人自身的调试经验中自然涌现出来的。

ASPIRE 在 150 多个仿真任务上积累了 90 多条技能，覆盖了定位、导航、抓取、场景理解、调试工作流等多个维度。

这些分类没有人事先规划，是系统在解决问题的过程中自己发现的。

▲不断扩展的技能库 | ASPIRE 维护着一个不断增长的技能库，该技能库将经过验证的修复方法提炼成模块化的、可转移的机器人知识，这些知识可以作为未来任务的上下文指导进行检索。

03 两种学习模式，两种不同的成长曲线

理解了权重和技能库这两种经验存储方式的本质差异，再来看实验数据，就会发现它们揭示的不只是性能高低，而是两种根本不同的“成长曲线”。

• 端到端模型的成长方式：用更多数据训练，性能提升；训练结束，性能固定。

它在部署阶段是静止的，无论遇到多少新任务、积累多少经验，它的权重不会改变，能力上限在训练结束的那一刻就已经确定了。

如果想让它变得更好，只能重新收集数据、重新训练。

• 技能库范式的成长方式截然不同：每解决一个新任务，技能库就多一条经验；技能库越大，下一个任务就越容易解决。

这是一种正反馈的积累机制，不是线性增长，而是复利式的加速。

这种差异在零样本迁移实验中体现得最为清晰。

ASPIRE 用在 LIBERO-90 上积累的技能库，直接去解决从未见过的 LIBERO-Pro Long 长时程任务，不做任何额外训练。结果是：

技能库从 0 条增长到 90 条的过程中，零样本成功率持续稳定地提升，最终达到 31%；

而端到端模型（π₀.₅）在这个任务上只有 4%，即便它在测试时可以反复推理和重试。

▲图5 | ASPIRE 在 Robosuite 双臂操作和 BEHAVIOR-1K 长时程任务上的表现：双臂交接成功率从 20% 提升至 92%，长时程任务超越人类专家程序

这个对比说明的不是 ASPIRE 比 π₀.₅ "更聪明"，而是两者在面对新任务时的底层机制完全不同。

• 端到端模型面对新任务，只能依赖训练时见过的数据分布；
• 技能库范式面对新任务，可以主动检索过去积累的相关经验，把旧问题的解法迁移过来。

前者是记忆的检索，后者是经验的复用。

在真实机器人实验中，这种差异同样显著。

ASPIRE 把仿真中积累的技能迁移到一台不同型号、不同 API 的双臂机器人上，"推拉抽屉"这个任务在没有技能引导时，系统耗尽了全部推理预算也没有成功；

有了技能引导，成功率达到 11/20，所需的推理计算量也大幅下降。

这说明技能库迁移的不是具体的代码，而是解决问题的思路，即便硬件和接口都变了，这个思路依然有效。

04 端到端路线的自救：WAM 的生成式回放

在 ASPIRE 提出技能库路线的同期，端到端路线也在尝试从内部解决持续学习的问题。

其中一个有代表性的方向，是利用世界动作模型（WAM）的生成能力来实现"生成式回放"。

WAM 与普通 VLA 的区别在于：它不只预测动作，还能预测执行动作后的未来画面。

这个能力也带来了一个新的可能性：在学习新任务时，让模型自己"生成"旧任务的伪演示数据，用这些生成的数据代替真实的历史数据来防止遗忘。

这样就不需要永久存储旧数据了，模型用自己的生成能力来维持记忆。

这个思路在实验上确实有效，能将灾难性遗忘减少 50%以上。但它的根本局限也很明显：

生成的伪演示质量取决于模型自身的生成能力，而 WAM 在长时程序列生成中，画面保真度会随时间迅速退化，生成的动作和画面之间也容易出现逻辑上的不一致。

更重要的是，这条路线在本质上仍然是在权重框架内修补遗忘问题，而不是改变知识的存储方式本身。

这两条路线的对比，揭示了一个更深层的分歧：

端到端路线把持续学习看作一个优化问题：如何在更新权重时尽量保留旧知识；
技能库路线把持续学习看作一个工程问题：如何把经验整理成可以长期维护和复用的结构。前者在数学上更优雅，后者在工程上更务实。

05 技能库的边界，以及两条路线的融合

承认技能库范式的价值，并不意味着端到端路线没有未来。

事实上，ASPIRE 本身就高度依赖端到端预训练模型：大语言模型负责代码生成和逻辑推理，视觉模型负责空间感知，运动规划器负责底层控制。

技能库管理的是“怎么组合这些能力”，而不是替代这些能力本身。

ASPIRE 的研究团队也列出了当前系统的边界：

• 它依赖一个冻结的前沿大语言模型，尚未验证更小的模型能否维持同等质量的调试循环；
• 固定的感知-规划-控制 API 限制了系统能表达的行为范围；
• 技能库在规模增大后，可能出现过时、冗余或相互矛盾的条目，目前还缺乏成熟的版本管理和修剪机制；
• 真实世界部署仍需要可靠的成功检测和安全重置，这些都还依赖人工介入。

这些局限性恰恰指向了一个更有意思的问题：如果技能库和端到端模型各有所长，未来的机器人系统是否会走向某种混合架构？

权重是一种强大但封闭的知识载体——

它能从海量数据中提炼出惊人的泛化能力，但它存储的知识无法被单独提取、修改或共享。

技能库是一种透明但有限的知识载体——

它存储的每一条经验都是可读的、可审计的、可跨平台复用的，但它依赖底层模型的能力，也面临规模增大后的管理挑战。

这两种方式并不是非此即彼的选择，而是在不同层次上解决不同问题的工具。

真正值得期待的，是一个能让两者协同工作的系统：模型负责感知和动作，技能库负责经验和记忆，机器人在每一次成功和失败中都能积累下真正有用的东西，而不是让经验随着任务结束一起消散。

Ref

1. ASPIRE: Agentic Skills Discovery for Robotics.

2. ASPIRE Robot Skills Library Self-Evolves Indefinitely. LinkedIn.

3. Can VLA Models Learn from Real-World Data Continually without Forgetting?

4. World Action Models Enable Continual Imitation Learning with Recurrent Generative Replays.

5. Pretrained Vision-Language-Action Models are Surprisingly Resistant to Forgetting in Continual Learning.