VLA首次搞定真实家具组装！牛津大学突破1500步长时序双臂协同瓶颈

首个真· 家具组装的VLA框架——做对了什么还有什么没做目录01 家具组装为什么这么难三条路线的共同盲区三种家具的难度阶梯02 进度增强VLA两招管住长时序连续进度信号替代离散切换“撤退后再切”的边界设计理时的自动切换03 实验仿真主结果四个设计因素的影响与边界04 真机只掉16%意味着什么05 VLA家具组装第一步不同于过往仅支持单臂、迷你模型的 VLA 方案由MERL三菱电机研究实验室联合牛津大学等团队提出的 FurnitureVLA是业内首套可完成真实尺寸桌椅、书架双臂协同装配的视觉语言动作完整框架。真实尺度的家具装配对机器人而言面临多重挑战任务序列长达7个子步骤、总计约1550个控制指令双机械臂需在狭小空间内协同完成对准、插入、拧紧等操作且对位置精度有毫米级要求。FurnitureVLA 搭建仿真 VR 遥操作双数据采集链路创新引入任务进度表征优化模型推理无需人工分段干预即可自主流转装配工序在超千步连续控制流程中稳定完成家具组装为家用操作机器人落地长时序双臂作业提供了完整可行技术路线。01 家具组装为什么这么难三条路线的共同盲区现有家具组装研究大致分三条线。第一条是手工规则先解析说明书再手工编写抓取、对齐、插入的运动序列如Fabrica。换一件家具就重写整套逻辑泛化为零。第二条是模仿学习JUICER、IKEA Assembly Environment等但在玩具尺度上用单臂操作零件的几何容差、重量、双臂协调等真实约束一个都没覆盖。第三条是VLA路线但在面对650到1550步的长时序组装时初始分布漂移和累积误差直接把策略送进没见过的状态空间。研究中π0.5零样本在三类家具上全部挂零全量微调也只有48%。▲FurnitureVLA系统总览仿真数据管线 VR遥操作 进度增强VLA三种家具的难度阶梯论文选了三款宜家产品构建难度梯度边桌4个子任务、12次技能执行、650步搁架4个子任务、14次技能执行、850步椅子7个子任务、25次技能执行、1550步。椅子任务最多整个过程涉及抓取、对齐、插入、抬升、旋转等多种技能的灵活组合。所有零件初始位置在标称位姿±3cm、±5°范围内随机扰动组装精度要求小零件平移误差≤1cm、大零件≤2cm旋转轴偏差≤4°。▲三类宜家家具的子任务分解与难度阶梯02 进度增强VLA两招管住长时序FurnitureVLA以π0.5为backbonePaliGemma-2B视觉编码器 Gemma-300M动作专家总参数约26亿在子任务数据上全量微调。两个关键设计都打在长时序的核心矛盾上。连续进度信号替代离散切换每段子任务演示数据被标注上一个从0到1的连续进度值。标注的依据是子任务内动作原语的执行顺序比如抓取→放置→撤退三个原语各占1/3的进度区间区间内按时间线性插值。VLA的输出从14维双臂动作扩展为15维动作进度通过Flow Matching联合训练。消融实验中如果把连续进度换成离散标签整个子任务内进度不变、靠分桶切换三类家具全部零成功率。原因很直观零件快装好了和已经装好了在视觉上几乎没有差别离散信号学不到临界点模型卡死在切换边缘。连续信号提供的是从刚开始到差不多了到完成了的平滑梯度容错空间大得多。▲预定义方向预设“撤退后再切”的边界设计子任务切换点不放在零件刚装好那一刻而是放在机械臂撤退到安全位置之后。研究的逻辑是刚完成组装的接触状态极不稳定微小的执行误差会让下一子任务的起始分布变得很宽进入没见过的状态空间、开始漂移。而机械臂撤退到远离家具的悬停位置后无接触、无受力约束小偏差不会放大每个子任务的起始状态更窄、更一致。跨子任务的分布漂移就是这样被‘摁’住的。▲进度增强VLA架构联合预测动作与连续进度信号理时的自动切换推理阶段模型每步输出当前子任务的动作和进度值。当进度超过阈值τ0.95且通过简单高频滤波连续两帧都超阈值或隔几帧再次触发系统自动切到下一子任务指令重置进度、清空动作缓存不需要外部状态估计器。03 实验仿真主结果500条仿真演示训练、100轮评测Table I进步最大的是椅子IVAR组装零件最大最重对长时序漂移诱导的奇异位形最敏感进度分解的收益因此最明显。IVAR 虽然也涨了15个百分点但56%的成功率依旧是明显瓶颈失败集中在第五子任务双臂协同抬起并挂接椅子框架。▲仿真组装成功率对比逐子任务成功率曲线呈现单调递减每个子任务的成功率是一条只跌不涨的线直观印证了误差累积传播的假设而非某个环节存在单点瓶颈。▲子任务成功率单调递减曲线四个设计因素的影响与边界下表覆盖了时序集成、动作步长、相机视角、输入分辨率四个因素的网格扫描。解读这些数字时需要注意边界条件时序集成指数衰减权重平均近期预测λ-0.1最优让整体成功率从65%回到80%提升了15个百分点。但这个收益来自平滑效应对需要快速响应的动态场景平滑本身可能是副作用。边桌LACK最优λ-0.1而搁架KALLAX需要更平滑的λ-0.25说明重零件需要更多惯性。动作步长上LACK和IVAR倾向10步一重规划KALLAX倾向25步重零件轨迹需要更长的平滑窗口更频繁的重规划意味着更高的推理开销。后置相机最关键。去掉后置相机或替换为深度图后LACK从98%跌至45%这说明双臂操作中后置视角对处理遮挡不可替代。分辨率从224×224提到448×448IVAR从50%提到56%有收益但边际效应递减。▲感知与控制设计因素的网格扫描结果04 真机只掉16%意味着什么真机只测了最难的IVAR椅子。100条VR遥操作演示训练15轮评测Table IV。完整组装成功率40%。逐子任务分解看S180% → S273% → S360% → S453% → S547% → S647% → S740%。S3和S4的瓶颈是左臂远离相机、视觉信息衰减S5是双臂抬起框架时要求同时对齐多组磁铁精度需求最高。▲真机完整组装过程与自主纠错行为对比仿真56%的成功率真机下降了16个百分点。考虑到sim2real域差距通常在30%以上这个数字说明VR遥操作采集的数据质量足够支撑策略迁移。另外值得注意模型出现了自主纠错行为。当抓取不稳定时机械臂会主动松开、调整位姿、重新抓取安装框架时会小幅调整以对齐磁铁。这些行为在遥操作演示中有人工示范策略学到了并能在新rollout中自主复现。▲现实世界中的精度要求但单独跑每个子任务从正确的中间状态起步各子任务成功率在67%~87%之间远高于完整组装的40%进一步确认失败模式是子任务间误差累积而非某个环节无法完成。▲真机IVAR椅子逐子任务成功率05 VLA家具组装第一步FurnitureVLA 证明长时序VLA的瓶颈不是模型不够大而是误差管理机制没做对。子任务分解连续进度信号撤退后切边界的组合把VLA在真实尺寸复杂操作上的表现从完全不可用拉到了路线可行。但这里的“路线可行”也是有“限制条件”的第一双臂固定在工作台上工作空间受机械臂运动学范围限制移动底盘是必须的下一步。第二用磁铁替代了螺丝紧固。这是整个装配中最难、精度要求最高的环节研究中也坦诚标注了此简化。第三仅覆盖三款宜家产品家具种类的泛化能力未验证。第四真机仅100条演示训练、15轮评测40%成功率的置信区间较宽大规模统计意义上的性能有待进一步验证。参考论文论文标题FurnitureVLA: Learning Long-Horizon Bimanual Furniture Assembly with Vision-Language-Action Model