只用公开数据，强化学习后训练让VLA成功率提升13个点

π0.5是现成的GRPO是开源的关键问题是pipeline怎么搭——工程组合目录01 三个工程难题02 四模块拆解Shared-Prefix GRPO让rollout共享趋近阶段Tree-Structured Prefix Branching渐进式分支Success-Aware Reward Decay不惩罚“慢但成功”的轨迹Selective VLM-AE Joint Training该动感知层时再动03 实验数据哪些是硬实力哪些要打折看总体80.6%平均成功率SOTA但优势不大分类别交互密集型任务提升最大04 RL后训练补不了表征能力本身的短板近日Zioneer Robot Team发布的Z-1用纯公开数据GRPO后训练把π0.5这个flow-based VLA模型推到了RoboCasa的新SOTA。比结果更值得讨论的是它真正解决的问题flow-based VLA的RL后训练此前一直卡在rollout效率低、稀疏奖励区分度差、感知层无法修正三个瓶颈上。Z-1没有提出新算法GRPO是DeepSeek的老方法π0.5是现成模型RoboCasa是开源平台它做的是把这些已有组件组合成能稳定跑通的RL后训练pipeline每一环都给出可复现的工程方案。01 三个工程难题当前VLA模型训练几乎清一色行为克隆BC或监督微调SFT拿遥操作演示数据让模型模仿。这条路能跑但天花板明显偏离演示轨迹进入未见状态后不知道怎么回来。RL后训练是突破这一瓶颈的直接思路但搬到flow-based VLA上三个问题同时爆发。第一rollout太贵π0.5生成动作走去噪积分路径每条轨迹都要跑完整幕才拿奖励GRPO默认每组8条各自独立执行前半段趋近阶段几乎重复纯浪费算力。第二稀疏奖励分配不清任务奖励通常二值成功1失败0。同组8条全成功时标准GRPO用组内均值归一化比均值慢的成功轨迹拿到负优势等于惩罚虽然慢但成功了的轨迹把策略推向激进加速。第三冻结VLM可能不够主流方案默认冻结视觉语言模块只更新动作专家。但如果失败根因是视觉定位不准或空间推理差冻结VLM就让动作专家在错误特征上白费力气。02 四模块拆解Shared-Prefix GRPO让rollout共享趋近阶段机器人操作轨迹分为趋近段和交互段。Z-1让同组rollout共享趋近段一条领航轨迹先跑到分支点仿真器状态克隆给其余7条各自独立执行交互段。共享前缀的动作块从策略梯度损失中剔除只对交互段做组间比较。在TurnOnSinkFaucet任务上相比vanilla GRPO收敛更快、曲线更稳。▲图 | TurnOnSinkFaucet任务上三种GRPO变体训练性能对比Tree-Structured Prefix Branching渐进式分支针对过度maskZ-1在前缀段内设多个中间分支点形成树。只有完全共享的根段被mask部分共享的分支段保留可训练。消融显示Prefix Tree峰值成功率略高、loss下降更快但优化信号更激进对配置更敏感。实际使用中flat SharePrefix更稳妥Prefix Tree更激进——是稳定性与性能的trade-off。Success-Aware Reward Decay不惩罚“慢但成功”的轨迹全成功组改用组内最小值做基线最慢的成功轨迹优势为零更快的拿正优势。既保留快比慢好的排序信号又不把成功慢轨迹当反面教材。对比实验中Reward Penalty变体仍用均值归一化大幅缩短执行步数但成功率上升更慢策略还没学会稳定完成就急着加速。▲图 | PnPStoveToCounter任务训练曲线对比标准GRPO、Reward Penalty和Success-Aware Reward DecaySelective VLM-AE Joint Training该动感知层时再动默认只更新Action Expert冻结VLM。当训练诊断显示AE-only停滞、失败集中在视觉定位和空间推理时选择性开启联合训练。TurnOnStove任务上AE-only几乎没提升开启联合训练后成功率明显上升。感知瓶颈型任务必须让奖励信号回传到视觉语言表征层。▲图 | TurnOnStove任务训练曲线但联合训练有表征漂移风险和额外开销Z-1只在诊断确认必要时开启。03 实验数据哪些是硬实力哪些要打折看总体80.6%平均成功率SOTA但优势不大PnP和Micro.分别表示拾放和微波炉任务。Z-1 RL以80.6%的平均成功率领先在抽屉、水槽/水龙头和部分拾放任务上RL增益最显著。▲图 | RoboCasa全方法分类别与平均成功率对比。Z-1 RL比X-WAM高1.4个百分点在RoboCasa高方差仿真中不算显著且baseline数据来自各自论文非统一协议。真正有说服力的是RL相对SFT的13.2pp同模型、同数据、同协议下的对比。分类别交互密集型任务提升最大RL增益最显著水龙头/水槽31.1pp、抽屉12.7pp、拾放17.0pp。这些任务趋近阶段固定成败取决于接触后精细操作正是Shared-Prefix发力的场景。▲表 | 24个RoboCasa任务完整成功率%。Z-1 RL在多数任务上优于Z-1 SFT同时在OpenDoubleDoor、CloseDrawer、TurnOffMicrowave等SFT已接近饱和的任务上保持性能04 RL后训练补不了表征能力本身的短板VLA的RL后训练是2025年下半年爆发的方向πRL、ReinFlow、VLA-R1、SimpleVLA-RL都在做类似的事。赛道分两派通用框架派VLA-RL、SimpleVLA-RL追求跨架构通用性但单模型优化深度不够模型特化派πRL、ReinFlow、Z-1针对特定模型痛点设计Z-1四个模块均针对flow-based VLA在GRPO下的特定瓶颈。▲图 |VLA-R1框架1.4pp的领先优势很小且X-WAM靠的是表征增强而非RL后训练。更关键的变量来自Physical Intelligence自身π0.6/π0.7已在探索从机器人经验中学习后续基座是否会原生支持更高效RL后训练值得关注。几个绕不开的短板没有真机验证sim-to-real gap完全没讨论评测对比不严格baseline来自各自论文种子数和rollout数可能不同训练成本不透明给了超参数但没报告总训练时间和GPU消耗炉灶任务暴露方法边界长时序规划精确空间推理仍是默认配置覆盖不了的盲区。Z-1把flow-based VLA的GRPO后训练从理论上可行推到工程上可跑每个模块对应一个具体痛点。13.2pp的SFT→RL提升证明行为克隆天花板不是终点RL后训练确实能再挖一层。但80.6%也意味着近20%任务失败炉灶等长时序任务连50%都勉强说明RL后训练优化已有能力边界补不了表征能力本身的短板。Ref论文标题Z-1: Efficient Reinforcement Learning for Vision-Language-Action Models