LeRobot 多臂机器人协同完整指南从双臂空载联调到 VLA 策略上线【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot双臂一上最先出问题的往往不是算法而是节拍两个串口一快一慢、左右动作到端口上顺序错乱、相机帧率和关节频率对不齐。这篇文章用 LeRobot 把一套多臂协同系统从接线、联调到 VLA 策略上线的完整链路讲清楚硬件怎么挑、配置改哪几个字段、上线前查哪三张清单全部给到可执行的粒度。它到底怎么跑的架构与难点LeRobot 里多臂系统是分布式-集中式混合架构每条臂挂着独立的舵机总线控制器只管自己那几个关节的实时伺服SO-100 走串口、G1 走 CAN/EtherCAT而全局决策交给一个集中式的策略模型。可以把中央协调器想成乐队指挥——它自己不拿乐器只决定谁在哪个小节奏什么音。各臂的局部运动规划保证了毫秒级响应协调器则负责两只手一起抬杯子时谁多出力、谁先松手这类跨臂问题。决策链路是一条标准的 VLA 管线多路相机帧、左右臂关节状态和一句文本指令先过 observation processor 做归一化和对齐再进视觉语言主干以 docs/source/policy_groot_README.md 的 GR00T N1.7 为例Qwen3-VL 主干 flow-matching 动作头输出一个动作向量按left_/right_前缀拆回两条总线各归各的串口。整条链路在 src/lerobot/robots/bi_so_follower/ 这类双臂实现里被封装成一个BiSOFollower对象——对上层来说两条臂就是一个 robot这正是多臂在工程上能跑起来的前提。实际动手时你会撞上 3 个障碍都是 LeRobot 源码里能直接看到对应处理的左右键名串了。双臂观察必须带left_/right_前缀顶层相机保持无前缀。一旦命名冲突代码会直接抛ValueError拒绝启动——这不是刁难是防止左臂跟着右臂轨迹转的那种低级事故。时间对不齐。两个串口各以 30Hz 拉关节、相机以 30fps 出帧三者时钟天然不同步。LeRobot 在数据集写入层用统一时间戳对齐MP4 视频 Parquet 状态逐帧配对采集端不处理回放和训练时左右臂数据就是错位的。动作维度拼接顺序错。模型期望的 action 是一维拼接向量左臂 6 维在前右臂 6 维在后。拼接顺序对不上时症状很隐蔽两只臂都动但方向反着来。改配置前先在空载状态打印一次 action 维度核对。从零跑通一套最小双/多臂系统 双臂硬件选型与接线先定负载再定串口选臂先看任务不看品牌一张表定档指标工业级机械臂协作机器人开源硬件平台负载能力10-500kg3-15kg0.5-5kg重复定位精度±0.01mm±0.1mm±1mm成本高10万中5-10万低1万以内开放性低中高多臂协同支持需定制部分支持完全支持起步强烈建议 2 臂系统 开源平台两条 SO-100bi_so_follower或两条 OpenARMbi_openarm_follower预算压在 1 万以内精度需求到 ±1mm 级别就够用。接线要点左右臂各占一条独立 USB 串口或 CAN 总线独立节点相机至少 2 路且与主控同机双臂系统里最容易省错的一笔是只接一个相机——双臂协同的价值恰恰来自双视角单目会直接砍掉一半策略输入。从 config 到空载联调第一次节拍怎么验软件侧不用写框架代码。打开configs/bi_so_follower.yaml改 3 类字段left_arm_config.port/right_arm_config.port两个串口号、cameras下两路相机、以及max_relative_target单步动作上限联调期调小防甩臂。再跑一次lerobot-calibrate给左右臂各存一份关节限位剩下的交给统一入口from lerobot.robots import BiSOFollower from lerobot.teleoperators import BiSOLeader robot BiSOFollower.from_pretrained(configs/bi_so_follower.yaml) teleop BiSOLeader.from_pretrained(configs/bi_so_leader.yaml) robot.connect() for _ in range(300): robot.send_action(teleop.get_state()) # 空载跟手肉眼验节拍空载联调只验证三件事主从臂是否同向同步左右手同时动误差应 1 个关节格、断连时扭矩是否按disable_torque_on_disconnect正确释放、相机流和串口读关节是否同帧到达。三件事过了再接策略模型过不了先别碰 VLA那是接线问题不是模型问题。三个场景三种落法 精密装配一个零件要定位又要扶正单臂做不到双臂里主臂管位置、从臂管力。主臂腕部相机做亚毫米级零件定位从臂配 6 轴力/扭矩传感器做柔顺配合力-位混合控制装配接触阶段切力控接触力限制在 0.5N 级主臂轨迹由策略模型生成从臂动作加一层局部补偿避免两边较劲物流分拣动态货堆上多臂抢活考验的是任务分配而不是单臂精度。视觉端做实时目标检测 抓取点预测每 100ms 刷新一次可抓列表按距离 × 当前负载打分分配任务谁近谁空手谁抓高速段启用工作空间禁区约束两臂轨迹规划时互相对方的当前构型做障碍物医疗辅助人机会物理接触安全边界压精度之上。关键传感通道冗余配置关节编码器 外部姿态交叉验证单点故障不直接停机力控安全边界接触力超限立即切柔顺模式响应控制在毫秒级急停链路独立于策略模型物理按键直接拉舵机扭矩归零上线前必查的调优清单 ⚡通讯同步症状两臂动作偶发错位一拍 → 改法给每路观察打统一时间戳按时间戳而非到达顺序入批症状关键指令被相机流挤占 → 改法控制指令走高优先级队列感知数据可丢帧症状CAN 长线缆信号畸变 → 改法总线两端 120Ω 终端电阻检查波特率匹配算法效率症状单步推理 80ms跟不上 30Hz 控制节拍 → 改法一次生成动作 chunk未来多步执行与推理解耦走 src/lerobot/async_inference/ 的异步推理链路症状显存吃紧 → 改法fp16/bf16 推理 动作维度只保留任务相关关节砍冗余维能耗症状从臂长期待命持续发热 → 改法空闲臂切低功耗模式任务恢复前再上电症状轨迹来回小幅抖动、电流空耗 → 改法动作序列加平滑EMA 插值滤掉 0.5° 的抖动项LeRobot 把双臂封装成一个 robot这件事本质是承认多臂协同的瓶颈从来不在单臂控制而在观测对齐、动作拆分和统一数据集格式——这三块跑顺之后加第三、第四条臂只是改配置。下一步值得盯的是 VLA 基座模型直接输出多具身协调动作当两只手怎么配合不再需要手写规则而是从预训练权重里长出来时双臂系统的工程门槛会再降一个台阶。【免费下载链接】lerobot LeRobot: Making AI for Robotics more accessible with end-to-end learning项目地址: https://gitcode.com/GitHub_Trending/le/lerobot创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考