从零理解 ACT 策略：Action Chunking、Transformer、CVAE、LeRobot 实现与经典论文【ACT：Action Chunking with Transformers】

前言

在具身智能中，我们希望机器人能够根据摄像头画面和自身状态，完成抓取、放置、插入、开盖、整理物体等操作。

一种常见训练方式是：

1. 人类先遥操作机器人完成任务；
2. 系统记录相机图像、机器人状态和人类动作；
3. 使用这些示范数据训练策略网络；
4. 让机器人根据当前观测自动预测动作。

这种方法属于模仿学习。

ACT 是机器人模仿学习领域中非常经典的一种策略。

ACT 的全称是：

Action Chunking with Transformers

中文通常可以翻译为：

基于 Transformer 的动作分块策略

对于初学者，可以先记住 ACT 最核心的一句话：

普通行为克隆每次只预测一个动作，而 ACT 每次预测未来一整段动作。

ACT 最早被用于 ALOHA 双臂机器人，后来被集成到 Hugging Face 的 LeRobot 框架中。它结构相对清晰、推理速度较快，特别适合机械臂抓取、插入、双臂协作等精细操作任务。

本文将从零开始，依次介绍：

• ACT 为什么被提出；
• 什么是 Action Chunking；
• ACT 的输入和输出；
• ACT 的网络结构；
• Transformer 在 ACT 中的作用；