文章目录 LingBot-VLA 2.0 技术解析:6 万小时炼成的跨实体机器人通用大脑 一、背景:具身智能的 VLA 范式 1.1 从感知到动作的演进 1.2 VLA 模型的核心挑战 1.3 LingBot-VLA 的定位 二、技术架构 三、训练数据:6 万小时的"机器人大脑" 3.1 数据构成 3.2 为什么需要第一人称人类数据 3.3 跨实体覆盖 四、跨实体机制 4.1 统一动作空间 4.2 跨实体学习的关键技术 4.3 为什么 MoE 架构适合 VLA 五、性能与基准 5.1 基准测试表现 5.2 与其他 VLA 方案对比 六、部署方案 6.1 硬件要求 6.2 部署流程 6.3 机器人适配 七、与同类模型的横向对比 八、未来展望 8.1 VLA 模型的发展趋势 8.2 LingBot-VLA 的行业意义 九、总结 LingBot-VLA 2.0 技术解析:6 万小时炼成的跨实体机器人通用大脑 2026 年 7 月 8 日,蚂蚁集团旗下具身 AI 子公司 Robbyant(灵波)开源了LingBot-VLA 2.0 ——一个 6B 参数的视觉-语言-动作(Vision-Language-Action)基础模型。与以往的机器人模型不同,这个"机器人大脑"不需要针对每种机器人重新训练,而是用 6 万小时真实物理世界数据训练出一个统一的动作空间 ,直接覆盖 17 家厂商的 20 多种机器人构型。从双足人形到机械臂、从移动底盘到无人机,一个模型统一操控。本文将从技术架构、训练数据、跨实体机制、部署方案等维度进行深度技术解析。
亲爱的朋友们,创作不容易,若对您有帮助的话,请点赞收藏加关注哦,您的关注是我持续创作的动力,谢谢大家!有问题请私信或联系邮箱:jason.fn@gmail.com
一、背景:具身智能的 VLA 范式 1.1 从感知到动作的演进 阶段 技术 能力 局限 感知层(2010s) 图像分类、目标检测 看懂场景 不能操作 理解层(2020s 初) VLM(视觉-语言模型) 看懂 + 对话 仍然不能操作 策略层(2023-2025) 行为克隆、模仿学习 能执行固定任务 每类机器人需单独训练 基础模型层(2025-2026) VLA(视觉-语言-动作模型) 看懂 + 对话 + 操作 跨实体泛化是最大挑战
1.2 VLA 模型的核心挑战 VLA 模型的目标是:输入摄像头图像 + 语言指令 → 输出机器人动作 。听起来简单,但每个环节都有深坑:
挑战 说明 跨实体(Cross-Embodiment) 不同机器人的关节数量、自由度、传感器配置完全不同,如何用一个模型操控? 数据规模 机器人操作数据获取成本极高(遥操作采集),需要多少小时才能达到"泛化"? 动作空间统一 双足、轮式、机械臂、无人机……如何用统一的动作表示? 实时性 推理延迟必须控制在 10-30Hz 才能流畅操控机器人 物理世界鲁棒性 训练数据中的光照、物体、场景与实际部署环境可能完全不同
1.3 LingBot-VLA 的定位 Robbyant 的 LingBot 系列在 2026 年 1 月发布了 1.0 版本,7 月的 2.0 版本是一次全面升级。整个项目族包括:
模型 功能 用途 LingBot-VLA 2.0 视觉-语言-动作基础模型 统一操控多类型机器人 LingBot-Depth 深度估计 空间感知 LingBot-World 世界模型 物理世界预测 LingBot-VA 视觉-动作自回归模型 轻量级操作 LingBot-Map 流式 3D 重建 环境建模 LingBot-Video 视频基础模型 多场景动态生成
二、技术架构 2.1 整体架构 ┌──────────────────────────────────────────────────────────┐ │ 输入层 │ │ ┌──────────────────┐ ┌──────────────────┐ │ │ │ 摄像头图像 │ │ 语言指令 │ │ │ │ (RGB / Depth) │ │ ("拿起红色杯子") │ │ │ └────────┬─────────┘ └────────┬─────────┘ │ ├───────────┼─────────────────────┼────────────────────────┤ │ ▼ ▼ │ │ ┌────────────────────────────────────────────┐ │ │ │ 视觉编码器(Vision Encoder) │ │ │ │ SigLIP / ViT │ │ │ │ 将多视角图像编码为视觉 Token │ │ │ └────────────────────┬───────────────────────┘ │ ├───────────────────────┼───────────────────────────────────┤ │ ▼ │ │ ┌────────────────────────────────────────────┐ │ │ │ 语言-视觉融合层(LLM Backbone) │ │ │ │ 6B MoE 架构 │ │ │ │ 将视觉 Token 与语言 Token 融合 │ │ │ │ 输出包含环境理解 + 意图理解的联合表征 │ │ │ └────────────────────┬───────────────────────┘ │ ├───────────────────────┼───────────────────────────────────┤ │ ▼ │ │ ┌────────────────────────────────────────────┐ │ │ │ 动作解码器(Action Decoder) │ │ │ │ 输出统一动作空间的 Token 序列 │ │ │ │ 支持 7-DoF / 双臂 / 全身控制 │ │ │ └────────────────────┬───────────────────────┘ │ ├───────────────────────┼───────────────────────────────────┤ │ ▼ │ │ ┌────────────────────────────────────────────┐ │ │ │ 动作执行层(Robot Controller) │ │ │ │ 将统一动作映射到具体机器人的关节控制 │ │ │ │ 逆运动学 / 关节空间控制 │ │ │ └────────────────────────────────────────────┘ │ └──────────────────────────────────────────────────────────┘2.2 模型规格 参数 值 说明 模型名称 lingbot-vla-v2-6b6B “native depth” checkpoint 参数量 6B(60 亿) MoE 架构,激活参数更少 架构类型 MoE(混合专家) 每次推理仅激活部分专家网络 视觉编码器 SigLIP / ViT 多视角图像编码 LLM 主干 自研 6B 语言模型 视觉-语言融合 + 动作生成 输入模态 RGB 图像 + 深度图 + 文本指令 多模态融合 输出 统一动作空间的 Token 序列 自回归生成动作 推理频率 10-30 Hz 满足实时控制需求
三、训练数据:6 万小时的"机器人大脑" 3.1 数据构成 数据类型 时长 来源 用途 真实交互轨迹 50,000 小时 跨 20 种机器人构型的真实遥操作采集 多构型泛化 第一人称人类操作 10,000 小时 人类头戴摄像头执行日常操作 跨实体迁移 合计 60,000 小时 — —
3.2 为什么需要第一人称人类数据 这是 LingBot-VLA 2.0 的一个关键设计。人类数据的作用是实现跨实体迁移 :
人类双手操作(10,000 小时) │ ├── 提供通用的"操作常识" │ ├── 物体如何被抓取 │ ├── 工具如何被使用 │ └── 空间关系如何被理解 │ └── 迁移到机器人 ├── 双足机器人:从双臂操作映射到全身 ├── 机械臂:从人类手臂映射到机械臂 └── 移动底盘:从人类行走映射到导航3.3 跨实体覆盖 LingBot-VLA 2.0 支持17 家机器人厂商 的20 多种构型 :
构型类别 示例 典型自由度 双足人形 Unitree H1 / G1、Agibot 等 全身 20-40 DoF 单臂机器人 标准 6-7 DoF 机械臂 6-7 DoF 双臂机器人 双臂协作平台 12-14 DoF 轮式移动 + 臂 移动底盘 + 机械臂 10-20 DoF 四足 + 臂 机器狗 + 机械臂 12-20 DoF
四、跨实体机制 4.1 统一动作空间 不同机器人的关节数量和运动范围差异巨大。LingBot-VLA 2.0 的核心创新之一是统一动作空间 的设计:
统一动作空间(Unified Action Space) │ ├── 关节角 Token(Joint Angle Tokens) │ ├── 归一化到 [-1, 1] 范围 │ ├── 不存在的关节用特殊 Token 填充 │ └── 模型学会忽略无关关节 │ ├── 末端位姿 Token(End-Effector Pose Tokens) │ ├── 6-DoF 位姿(x, y, z, roll, pitch, yaw) │ └── 适用于所有带末端执行器的机器人 │ ├── 夹爪 Token(Gripper Tokens) │ └── 开/关状态 │ └── 移动基座 Token(Base Motion Tokens) └── 适用于带移动底盘的机器人4.2 跨实体学习的关键技术 技术 作用 原理 动作掩码(Action Masking) 让模型忽略当前机器人不支持的自由度 对不存在的关节维度应用 mask 形态嵌入(Morphology Embedding) 告知模型当前操作的是哪种机器人 为每种构型分配独特的 embedding 端到端联合训练 所有构型共享同一个模型权重 不针对单一构型微调 第一人称迁移 人类操作数据 → 机器人操作 通过视觉-动作对齐实现跨实体
4.3 为什么 MoE 架构适合 VLA LingBot-VLA 2.0 采用MoE(Mixture of Experts) 架构,这对跨实体任务有天然优势:
优势 说明 专家分工 不同专家可以专注于不同构型/任务 计算效率 6B 总参数,每次推理只激活一小部分,满足实时性 知识隔离 人类操作知识和机器人操作知识可以分配到不同专家 可扩展性 新构型可以训练新专家,不影响已有专家
五、性能与基准 5.1 基准测试表现 基准 LingBot-VLA 2.0 对比模型 泛化操控任务 超越 π0.5 Google π0.5(7B) 跨实体迁移 20+ 构型直接可用 多数方案需单独训练 推理延迟 10-30 Hz 满足实时控制 训练数据规模 60,000 小时 远超同类开源方案
注: 具体数值因任务和部署环境而异,以上为相对表现。
5.2 与其他 VLA 方案对比 方案 参数量 开源 跨实体 训练数据 厂商支持 LingBot-VLA 2.0 6B MoE ✅ ✅ 20+ 构型 60,000 小时 17 家厂商 π0 / π0.5 7B ❌ ✅ undisclosed 内部 OpenVLA 7B ✅ ⚠️ 有限 开源数据集 社区 RT-2 55B ❌ ✅ undisclosed 内部 Gr00t — ✅ ✅ — NVIDIA 生态
六、部署方案 6.1 硬件要求 组件 最低配置 推荐配置 GPU RTX 4090(24GB) 双 RTX 4090 / A100 CPU 8 核 16 核+ 内存 32 GB 64 GB+ 存储 50 GB SSD 200 GB NVMe
6.2 部署流程 # 1. 克隆仓库 git clone https://github.com/robbyant/lingbot-vla-v2.gitcd lingbot-vla-v2# 2. 安装依赖 pipinstall -r requirements.txt# 3. 下载模型权重 # 从 Hugging Face 或 ModelScope 下载 lingbot-vla-v2-6b # 4. 运行推理 python demo.py\ --model lingbot-vla-v2-6b\ --robot < robot_type> \ --camera < camera_config> \ --instruction "拿起桌子上的红色杯子" # 5. 实时控制循环(伪代码) while True: image= camera.capture( ) # 获取当前帧 action= model.predict( image, instruction) # 预测动作 robot.execute( action) # 执行动作 time.sleep( 1 /30 ) # 30Hz 控制频率 6.3 机器人适配 Robbyant 提供了机器人配置模板 ,每种构型对应一个配置文件:
# robots/unitree_g1.yaml robot_type : humanoidembodiment_id : unitree_g1dof : 36 joint_names : [ left_hip_yaw, left_hip_roll, left_hip_pitch, ... ] action_dim : 36 camera_config : - name : head_rgbtype : rgb- name : head_depthtype : depth- name : wrist_rgbtype : rgb七、与同类模型的横向对比 7.1 技术路线对比 维度 LingBot-VLA 2.0 π0 / π0.5 OpenVLA 架构 MoE(6B 总参,激活更少) Dense(7B) LLM fine-tune(7B) 训练范式 真实遥操作 + 第一人称人类数据 真实遥操作 开源数据集 跨实体 原生支持 20+ 构型 支持但需配置 有限 开源 ✅ 模型 + 代码 ❌ ✅ 代码 部署门槛 中等(单卡可跑) 不公开 中等 推理速度 10-30 Hz — 5-15 Hz 生态 Robbyant 全家桶 Google DeepMind 社区驱动
7.2 适用场景决策树 需要机器人操控模型? │ ├── 需要跨多种机器人构型? │ ├── 是 → LingBot-VLA 2.0(原生跨实体) │ └── 否 → 继续判断 │ ├── 需要完全开源(含模型权重)? │ ├── 是 → LingBot-VLA 2.0 / OpenVLA │ └── 否 → 继续判断 │ ├── 部署资源有限(单卡可跑)? │ ├── 是 → LingBot-VLA 2.0(MoE 架构激活参数少) │ └── 否 → 继续判断 │ ├── 需要人类第一人称数据增强的泛化能力? │ ├── 是 → LingBot-VLA 2.0 │ └── 否 → 继续判断 │ └── 已有 Google 生态? ├── 是 → π0.5 └── 否 → LingBot-VLA 2.0八、未来展望 8.1 VLA 模型的发展趋势 趋势 说明 时间线 更大规模数据 从 6 万小时到 10 万+ 小时 1-2 年 更多构型覆盖 从 20+ 到 50+ 种机器人构型 1 年 实时性能提升 从 30Hz 到 100Hz+ 1-2 年 多模态增强 触觉 + 力反馈 + 语音输入 1 年 Sim-to-Real 融合 仿真数据与真实数据联合训练 6-12 个月 端侧部署 模型压缩后直接运行在机器人板载芯片 1-2 年
8.2 LingBot-VLA 的行业意义 维度 意义 开源推动 6B MoE 权重完全开源,降低行业门槛 标准化 统一动作空间的尝试为"机器人通用接口"提供了参考 生态建设 覆盖 17 家厂商,推动跨平台兼容 数据飞轮 开源 → 社区贡献 → 数据积累 → 模型迭代
九、总结 维度 核心要点 模型 6B MoE 架构,自研语言主干 + SigLIP 视觉编码器 数据 60,000 小时(50,000 小时真实轨迹 + 10,000 小时第一人称人类操作) 跨实体 17 家厂商、20+ 种构型,统一动作空间 + 形态嵌入 + 动作掩码 性能 在泛化操控任务上超越 π0.5,推理延迟 10-30 Hz 部署 单 RTX 4090 可运行,支持 YAML 配置适配不同机器人 开源 GitHub 完全开源(模型权重 + 代码 + 配置模板) 定位 从"基础模型"到"实际应用"的 VLA 工程化标杆
LingBot-VLA 2.0 代表了具身智能领域的一个重要进展方向:用统一模型统一操控 。它的核心价值不在于"6B 参数"这个数字,而在于 6 万小时数据锤炼出的跨实体泛化能力 ——一个模型学会操控 20 多种完全不同的机器人。这标志着 VLA 模型正在从"单一任务的策略网络"走向"通用机器人的操作大脑"。
参考资料 :
Robbyant/lingbot-vla-v2 GitHub 仓库 LingBot-VLA 2.0 官方页面 6 万小时炼一个机器人大脑:LingBot-VLA 2.0 技术全解读(知乎) MarkTechPost: Robbyant Releases LingBot-VLA 2.0 Robbyant Open-Sources LingBot-VLA 2.0(Robotics Business News) 60000小时炼出新开源VLA!20多种机器人都能用(BAIHUB) 支持17家机器人厂商20多种构型(凤凰网)