从基础到应用：LingBot-VLA 2.0 在实践中改进 VLA 模型-拓冰建站

26年7月来自蚂蚁灵波科技的论文“From Foundation to Application: Improving VLA Models in Practice”。

尽管 VLA（视觉-语言-动作）基础模型近期取得进展，但实验室环境与现实世界应用之间的差距依然阻碍了它们的实际落地。为弥合这一差距，推出 LingBot-VLA 2.0，该版本在三个功能领域对 LingBot-VLA 进行了改进：(1) 跨任务与跨形态的泛化能力。与上一版本相比，重构数据处理流程，并精选约 60,000 小时的数据用于预训练，其中包括涵盖 20 种机器人构型的 50,000 小时机器人轨迹数据，以及 10,000 小时的人类第一视角视频数据。(2) 在双臂硬件平台基础上扩展动作空间。具体而言，系统支持头部、腰部、移动底盘及灵巧手的自由度控制，从而使机器人能够在实际场景中处理更复杂的任务。(3) 引入预测性动力学建模以增强时序推理能力。通过将“未来预测”设定为智体任务来实现这一点，并利用视频表征模型提供语义先验，利用深度估计模型提供几何线索。在通用场景下针对 GM-100 基准进行的评估，验证上述改进措施的有效性。此外，得益于涵盖全身自由度的扩展预训练数据，LingBot-VLA 2.0 在两种不同的机器人平台上均展现出强大的跨形态长程移动操作能力。

如图1所示，引入预测性动力学建模作为一种代理（proxy）目标。具体而言，利用视频表征模型提供语义先验，并利用深度估计模型提供几何线索，从而构建未来预测任务，旨在促使VLA模型对未来场景演变及动作后果进行推理。核心假设是：实用的VLA系统不仅需要在模型和数据规模上进行扩展，更需契合现实世界机器人技术的需求——即具备更广泛的具身支持、更丰富的可控动作空间，以及对动态场景更强的预测性理解能力。基于这一理念，LingBot-VLA 2.0 旨在实现从基础能力向面向实际应用之易用性的跨越。

为了提升 VLA 模型在不同具身形态和动态环境下的强泛化能力与实用性，重新设计数据处理流水线，并构建一个时长约为 60,000 小的大规模预训练数据集（如图 2 所示）。

重新设计后的数据处理流水线如图 3 所示：

1 数据整理与预处理

机器人数据

从20种不同形态的机器人平台（涵盖配备灵巧手或夹爪的单臂、双臂及移动机器人）收集了约90,000小时的数据。基于这些数据，采用重新设计的数据处理流程来过滤噪声样本，最终获得50,000小时的高质量机器人数据。

首先，计算动作与状态信号的三阶有限差分（即jerk），以及其一阶导数（速度）和二阶导数（加速度）的Z-score，以此评估轨迹的平滑度。若jerk或任何导数的Z-score超过预设阈值，则丢弃该片段（episode）。这些阈值针对每种机器人形态单独设定。此外，统计片段中所有状态和动作信号仅表现出微小变化或保持不变的时长；若该时长超过片段总时长的95%，则同样丢弃该片段。

为验证视频与状态信号的一致性，利用相应的URDF模型将机器人投影到图像平面上，并回放记录的状态数据。聘请人工标注员识别投影机器人与实际视频之间的差异，以确保状态信号与视频记录准确无误，并剔除存在此类错位的样本。同时，在标注过程中，人工标注员还会剔除存在模糊、严重遮挡、丢帧或多视角间错位问题的视频。

自我中心视角数据

构建一个包含约20,000小时自我中心视角人类视频的数据库，经过过滤、重构、标准化及质量控制后，保留了约10,000小时的高质量训练数据。首先，无论视频来源如何，均对所有候选视频应用统一的视频级VLM（视觉-语言模型）预过滤。该步骤旨在剔除不符合自我中心操作假设的视频，例如第三人称视角视频、场景漫游视频、缺乏清晰手部-物体交互的视频，或不包含可操作物体的视频。此外，还会过滤掉非操作者手部显著出现的视频，因为此类片段可能会破坏佩戴摄像机者的观察视角与相应手部动作之间的关联。在后续处理之前引入这一 VLM 过滤阶段，能够降低不必要的标注与重建成本，特别是针对那些原本需要进行 SLAM 和手部姿态估计的无动作视频。

经过 VLM 预过滤后，根据是否存在动作标签或手部轨迹标签来处理剩余数据。对于已有动作或手部轨迹标签的数据（包括带动作标签的开源数据集及内部数据），执行元数据整理、时间戳对齐、坐标变换及轨迹完整性检查，将所有样本转换为标准化的手部轨迹格式。对于不含动作标签的第一人称视角（egocentric）人类视频，运行第一人称 SLAM 以估计相机内参及逐帧相机外参，随后应用手部姿态估计，在相机坐标系下恢复 MANO 参数。通过结合估计出的手部姿态与相机位姿，将手部运动提升至世界坐标系，从而获得时间上连续的手部轨迹。

随后，对重建并标准化后的数据进行轨迹层面的质量控制。剔除有效手部姿态覆盖不足的视频，设定有效帧比例 20% 为最低阈值。同时，移除 SLAM 轨迹不稳定的片段——即相机运动估计中出现异常二阶变化（如突发的平移或旋转加速度）的片段。此外，还会剔除存在突发不连续性、异常位移、速度、加速度或jerk的手部轨迹，以及违反人体生理约束的样本（例如不合理的手部位置、双手间距、运动范围或姿态）。
最终，所有有效样本均以世界坐标系下的手部轨迹形式存储。在训练过程中，当某帧被采样作为当前观测时，利用该帧的相机外参，将未来的手部轨迹从世界坐标系变换至当前的相机坐标系：

p^C_t_τ =T_C_t ←W p^W_τ

其中，p^W_τ 表示世界坐标系下的手部轨迹，T_C_t ← W 表示从世界坐标系到采样帧 t 所在相机坐标系的变换。采用这种设计，世界坐标系作为统一的轨迹存储空间，而当前相机坐标系则作为训练时的动作表征。这统一了开源及内部“以自我为中心”的人体视频中的轨迹格式，并在训练过程中将手部运动与“以自我为中心”的相机运动解耦。

统一动作表征

为了从跨多种具身形态（embodiments）收集的自我中心视角数据和机器人数据中联合学习状态与动作表征，对状态和动作均采用55维的规范向量表征。如图4所示，该表征包含：14维机械臂关节位置、14维末端执行器位姿、2维夹爪位置、12维手部关节位置、4维腰部位置、2维头部位置以及3维移动信号；其余4维为预留维度。机械臂关节位置和末端执行器位姿字段的定义旨在兼容双臂具身形态的最大维度需求。具体而言，每只机械臂的末端执行器位姿由XYZ坐标和旋转四元数表示，共计7维。对于单臂数据，机械臂关节位置仅使用6或7维，末端执行器位姿使用7维，其余与机械臂相关的维度则进行填充（padding）处理。

同样，对于不包含特定身体部位或信号维度较低的机器人具身形态，相应的维度也会进行填充。各具身形态的维度配置见表1。

2 数据标注

VLA预训练受益于那些在任务和子任务层面上与时间对齐的语言监督信息相结合的操作视频。利用基于视觉-语言模型构建的全自动流水线生成这些标注，并将该流水线应用于整个预训练数据集。

具体来说，采用Qwen3.6-27B [25] 模型，将每段操作视频分割为一系列时间上连续的子任务，并生成相应的语言指令。对于配备多摄像头的机器人平台，系统会联合处理俯视视角（overhead view）和腕部视角（wrist view）的图像，以消除夹爪与物体交互时的歧义。每个子任务都会被分配一个来自包含18个类别的固定词表（如表2所示）中的原子动作，并附带交互的主要对象及简明指令。

此外，还会生成一条概括整体任务的视频级指令。如图6所示，经标注的对象构成了一个多样化的开放式词汇表。

为了保持分割粒度的一致性，该模型将单次交互中的抓取、搬运和释放阶段归为同一个子任务；仅当操作对象变更、动作类型改变，或出现标志着向新子目标过渡的持续停顿时，模型才会引入时间边界。“移动（move）”和“转换（transit）”在统计的频率上占主导地位，而“切割”、“折叠”和“搅拌”等细粒度操作虽然较为少见，但其平均持续时间却显著更长。

1 基于 MoE 的 VLA 模型

在现实世界的跨实体机器人数据上预训练的视觉-语言-动作（VLA）模型必须从异质轨迹中学习，这些轨迹的特征是未对准的动作空间、不同的实体动态和任务分布。尽管专家混合 (MoE) 机制提供一种扩展模型容量的自然方法，但其在 VLA 预训练中的有效性的根本原因仍然知之甚少。本报告介绍一种用于大规模多实施例 VLA 预训练的token级无损 MoE 架构。通过将专家负载平衡与主要动作学习目标分离，并采用基于 sigmoid 的路由置信度来允许每个token独立激活多个专家，本文设计使稀疏专家能够捕获跨实施例共享的通用表示和控制逻辑。

稀疏 MoE 架构。为了促进跨实施例预训练期间的收敛，在动作专家内部实例化稀疏 MoE 层，它取代了动作专家中的前馈网络（FFN）。在默认配置中，所有动作专家transformer块（blocks）都配备了 MoE FFN。此外，采用细粒度的专家分割和共享专家隔离，其中轻量级共享专家保留通用先验，而一组路由专家提供专门的建模能力。

与稠密型 FFN 对应模块相比，设计的共享专家（shared experts）和路由专家（routed experts）均采用较小的中间层宽度，这种设计旨在促使共享专家捕捉通用规律，同时让路由专家发挥更强的专业化能力。在实际应用中，每个 MoE 层包含 1 个共享专家和 N_r 个路由专家；对于每个 token，仅激活其中的 K 个路由专家。针对 token 选择路由（token-choice routing）机制，利用线性路由模块以 FP32 精度计算路由 Logits。

为了避免softmax归一化引起的专家之间的激烈竞争，按照DeepSeek-V3对路由器logits应用sigmoid激活函数。为了在 VLA 模型中保持动作控制学习的核心目标，借鉴 DeepSeek-V3 的做法，采用一种无需辅助损失（auxiliary-loss-free）的策略，以促进 MoE 架构内部的负载均衡。在这种无需辅助损失的均衡机制下，每个专家都维护一个路由校正偏置 b_l,j。

这种基于偏差的负载均衡机制将专家分配与专家路由解耦。具体而言，利用校正偏差来促进负载均衡，同时路由置信度仍由模型原始的无偏亲和度分数进行加权。在训练过程中，会跨微批次（micro-batches）和分布式进程（distributed ranks）累积分配给每个专家的 Token 数量。在每次执行负载均衡更新时，系统会根据相对于专家平均负载的偏差正负号来调整校正偏差。可选项是，在每次更新后对偏置向量进行中心化处理，以防止累积漂移。随后，MoE 的输出被注入回动作专家 Transformer 原有的 FFN 残差分支中。

2 基于双查询蒸馏的时空-觉察 VLA

为了增强 LingBot-VLA 2.0 的几何觉察能力与因果时间理解能力，借鉴近期研究 [35] 采用双查询蒸馏框架，其中 LingBot-Depth 和针对机器人任务优化的 DINO-Video 充当互补的教师模型。具体而言，在视觉和文本 Token 序列中加入两个可学习的查询向量 [Q_t, Q_t+T]：Q_t 针对当前时刻的观测，而 Q_t+T 则针对时间跨度为 T（即动作块大小）后的未来观测。这些融合上下文信息的查询状态通过两个互补的教师模型进行蒸馏：一个是提供显式几何监督的深度教师模型 LingBot-Depth [28]，另一个是提供具有时间关联性的视觉表征因果视频教师模型 DINO-Video。

用于几何监督的 LingBot-Depth。为了将显式的空间与几何先验知识注入 LingBot-VLA 2.0，将双查询状态与从 LingBot-Depth 提取的深度 Token 进行对齐。具体来说，训练当前查询 Q_t 和未来查询 Q_t+T，使其分别预测当前操作帧和未来操作帧对应的深度表征 [D_t, D_t+T]。
深度蒸馏的目标函数。在因果 VLM 架构中，Q_t 捕获即时场景几何形状，而 Q_t+T 学习预测与即将进行的操作相关的未来几何配置。

用于时间监督的因果 DINO-Video。尽管深度监督能提供几何结构信息，但它无法捕捉机器人控制所需的因果时间动态特性。受潜视觉表征在各类动作与机器人应用中取得成功的启发 [9, 11, 22–24, 27]，其提出 DINO-Video ——一种基于 DINOv3 [26] 图像骨干网络的、专为机器人领域设计的视频表征模型。与针对每一帧独立提取图像级特征的方法不同，DINO-Video 利用因果时间注意机制生成具备运动-觉察能力的视觉表征，确保每个时间步的特征仅依赖于当前及过去的观测信息。在给定上下文查询状态 [Q_t, Q_t+T] 的前提下，当前查询（current query）被训练用于预测当前帧的 DINO-Video 特征，而未来查询（future query）则被训练用于预测时间跨度为 T 的未来帧特征。

视频蒸馏的目标函数。该目标促使 LingBot-VLA 2.0 恢复当前的运动-觉察表征及其对应的未来表征，从而与来自深度蒸馏的几何监督形成互补。

面向机器人领域的 DINO-Video。基于 DINOv3 初始化 DINO-Video，并引入分块因果时间注意机制（block-wise causal temporal attention）与 3D 旋转位置编码（3D-RoPE）[37] 对其进行扩展；这种设计既实现因果视频建模，又保留源自 DINOv3 的空间语义与几何先验信息。利用针对视频适配的 DINO 和 iBOT 自蒸馏目标 [40]，在包含互联网视频、第一人称视角（egocentric）视频及机器人操作视频的 500 万个视频片段数据集上对 DINO-Video 进行训练。针对每个样本，均匀采样 16 帧，并根据有效帧率分配绝对时间编码，以区分具有不同实际时长跨度的视频片段 [1]。在 LARYBench [24] 评测中，DINO-Video 在四个基准测试中的三个上均取得最佳性能，这有力证明其作为面向机器人领域的时间维度“教师模型”的有效性。

实验设置

评分标准。在GM-100基准测试中部分任务的评分标准中，每个任务被分解为一系列细粒度的操作步骤，并根据任务完成情况为每个步骤赋予相应的分值。这些标准涵盖多种双臂操作能力，包括分类、取物、舀取、更换、装箱、推动、挤压以及协同物体操控。这种分步标注方式实现比单纯的“成功/失败”二元判定更为精细的评估，能够捕捉长程操作任务中的阶段性进展。

双臂操作实验设置。在通用混合训练设置下，针对 GM-100 基准测试中的九项任务评估双臂操作能力。与针对特定任务的训练不同，该方法针对每种具身形态，在所有任务上联合训练单一策略；这要求模型在分拣、取物、装箱、推移以及与铰接物体交互等多种双臂操作技能之间共享操作基元。报告各项任务的进度得分与成功率。

长时程移动操作实验设置。在图9所示的两种机器人载体上评估长时程移动操作性能。每种载体对应一项代表性任务：Astribot S1 在物品分拣任务（收集物品并将其放入冰箱）上进行评估，而 Cobot Magic-ARX X5 则在炉灶清洁任务上进行评估。针对每项任务，在两种设置下评估各个模型：域内（ID）设置和分布外（OOD）设置。每种“任务-设置”组合均通过15次独立试验进行评估。在域内设置中，机器人的初始位置和被操作物品均取自训练分布。在分布外设置中，机器人的初始位置会在标称初始位姿的基础上，沿前、后、左、右四个方向在 ±10 厘米范围内进行扰动。此外，对于冰箱分拣任务，待放入冰箱的两种水果和水瓶被替换为未见过的物体类别。该设置旨在评估模型在面对未见过的物体和位置条件时的泛化能力。