1. 从“指令”到“自主”：Agentic RL 为何是下一个关键范式

最近和几个做强化学习（RL）和具身智能的朋友聊天，大家不约而同地提到了一个词：Agentic RL。这听起来像是一个新潮的术语，但如果你仔细想想，它其实点出了当前AI应用，特别是大模型驱动下的智能体，所面临的一个核心瓶颈。我们训练了无数模型，从Atari游戏到星际争霸，再到复杂的机器人抓取，但大多数智能体仍然停留在“反应式”层面——给定一个状态，输出一个动作。它们缺乏一种“自主性”，一种能够主动规划、分解任务、利用工具、并从失败中学习调整的“主体感”。

这就是Agentic RL试图解决的问题。它不是一个全新的算法，而是一种设计范式和训练理念的升级。传统的RL环境，比如Gym或MuJoCo，通常定义得非常清晰：状态空间、动作空间、奖励函数。智能体的目标就是在这个封闭的“盒子”里最大化累积奖励。然而，现实世界是开放、复杂且充满不确定性的。一个真正的“智能体”（Agent）应该能像人一样，面对“打扫房间”这样的高层指令，能够自己分解为“找到吸尘器”、“插上电源”、“清理地板”、“倒掉灰尘”等一系列子任务，并且在遇到吸尘器没电时，能转而寻找扫帚。

所以，当我看到HGPO（Hierarchical Goal-directed Policy Optimization）这个工作被归入Agentic RL的讨论范畴时，一点也不意外。它本质上就是在尝试赋予智能体这种“自主”分解和规划目标的能力。而像ALFWorld这样的文本交互环境，更是将Agentic RL推向了更贴近实际应用的场景：智能体需要理解自然语言指令，在模拟的家庭环境中执行复杂的日常任务。这不再是玩转几个关节的机械臂，而是构建一个能“听懂人话”、“办成事情”的虚拟助手。

网络热词中出现的VeRL，据我了解，通常指“Vision-enhanced Reinforcement Learning”或相关变体，它强调了视觉感知在具身智能中的关键作用。而“verl做sft训练流程”这个搜索词，则暗示了社区正在探索如何将监督微调（SFT）这类来自大模型训练的技术，与RL流程结合，可能是为了用高质量的人类示范数据来引导智能体更快地学习复杂行为。这一切的动向都指向同一个方向：我们正在从训练“条件反射模型”转向塑造“自主智能体”。接下来，我就以HGPO为切入点，拆解一下Agentic RL环境与代码实现中的核心门道。

2. HGPO 核心思想拆解：如何让智能体学会“分步走”

HGPO，全称分层目标导向策略优化，这个名字已经把它最核心的两点说清楚了：“分层”和“目标导向”。我们一点点来拆。

2.1 目标导向 vs 状态导向：思维模式的根本转变

在大多数标准RL设定中，策略网络π(a|s)学习的是基于当前状态s应该采取什么动作a。这是一种“状态-动作”的映射。而目标导向的策略，其形式更像是π(a|s, g)，其中g代表一个目标。这个目标g可以是最终要达到的某个状态特征（比如机械臂末端到达某个坐标），也可以是一个更抽象的描述（比如“把蓝色的积木放在红色的上面”）。

这种转变的意义巨大。它让策略具备了指向性和复用性。一个训练好的目标导向策略，理论上可以通过指定不同的目标g，来完成同一类任务下的不同具体实例，而不需要为每个细微差别都重新训练。HGPO在此基础上更进一步，它认为对于复杂的长周期任务，直接学习从初始状态到最终目标的策略是非常困难且低效的。于是，它引入了“分层”。

2.2 分层架构：高层规划器与底层执行器的分工

HGPO的框架通常包含两层：

1. 高层策略（High-level Policy）： 我们称之为π_hi(g|s)。它不直接输出具体的电机扭矩或关节角度，而是每隔C个时间步（一个“宏动作”周期），根据当前状态s，提出一个子目标g。这个子目标应该是当前底层策略在C步内有望达成的、且对完成最终任务有推进作用的中间状态。例如，最终目标是“打开冰箱拿出可乐”，高层策略可能先提出“移动到冰箱门前”这个子目标。
2. 底层策略（Low-level Policy）： 我们称之为π_lo(a|s, g)。它是一个目标导向的策略，接收当前状态s和高层下达的当前子目标g，输出具体的动作a。它的职责很单纯：在接下来的C步内，尽最大努力使状态逼近子目标g。

这个架构模拟了人类的做事方式：大脑（高层）制定阶段性计划（“先去超市”），小脑和四肢（底层）负责执行具体的动作（“走路、转弯、推购物车”）。分层的好处显而易见：它通过将长期任务分解为短期子任务，极大地缓解了信用分配问题（Credit Assignment Problem）——即判断当前动作对很久以后才获得的奖励有多大贡献。在HGPO中，底层策略只需为达成当前的子目标负责，而高层策略则为子目标序列最终能否导向成功获得总奖励负责。

2.3 目标空间设计与奖励塑形：让学习信号更清晰

这里有一个关键的技术细节：子目标g是什么？它不能是随便什么抽象概念，必须能被底层策略感知和度量。通常，g被定义为状态空间的一个子集或某种嵌入。例如，在机器人导航中，g可以是二维坐标(x, y)；在机械臂操作中，g可以是末端执行器的目标位置(x, y, z)或姿态。

为了让底层策略能有效地学习朝向子目标行动，我们需要设计一个内在奖励函数（Intrinsic Reward）。这个奖励函数与环境的最终任务奖励是分开的。一个常见的设计是使用负的欧氏距离：r_lo = - ||φ(s) - g||其中φ(s)是从状态s中提取的、与目标g同维度的特征。例如，g是目标位置，φ(s)就是当前末端位置。这样，底层策略每靠近子目标一步，就能获得一个即时的正向信号，学习起来高效得多。

而高层策略的奖励，则通常与环境提供的稀疏最终奖励R以及底层策略达成子目标的效率有关。一个简单的设计是：当底层策略在C步内成功达成子目标g（即距离小于某个阈值），高层策略获得一个小的正奖励；当最终任务完成时，高层策略获得大的正奖励R。同时，为了鼓励高效，每一步可能都有一个小的负奖励（时间惩罚）。

注意：目标空间的设计是HGPO乃至所有分层RL成功的基石。如果目标空间设计得不好（例如维度太高、与底层动作关联性弱），那么高层策略产生的子目标对底层来说可能就是“天书”，导致训练失败。一个实用的技巧是从成功的专家轨迹中，通过自动编码器（Autoencoder）或变分自编码器（VAE）学习一个紧凑的、能表征任务进度的潜在目标空间。

3. 代码实现透视：以HGPO为例的工程化要点

理解了原理，我们来看看如何用代码把它搭建起来。这里我不会贴出完整的、冗长的代码块，而是聚焦于几个最关键的部分，说明其实现逻辑和易错点。假设我们使用PyTorch和Gymnasium环境。

3.1 核心数据结构与交互循环

首先，我们需要明确一次迭代中的数据流。下面是一个简化的训练循环伪代码逻辑：

# 初始化高层策略 π_hi， 底层策略 π_lo， 以及它们各自的优化器和经验回放池 hi_policy = HighLevelPolicy(...) lo_policy = LowLevelPolicy(...) hi_optimizer = torch.optim.Adam(hi_policy.parameters()) lo_optimizer = torch.optim.Adam(lo_policy.parameters()) hi_replay_buffer = ReplayBuffer() lo_replay_buffer = ReplayBuffer() state = env.reset() current_goal = None steps_since_goal = 0 episode_return = 0 while not done: # 高层策略决策：每隔C步，或初始时，制定一个新子目标 if steps_since_goal % C == 0: # 将状态转换为高层策略的输入格式，可能包含历史信息 hi_input = process_state_for_hi(state) # 高层策略输出子目标（可能是确定性值或分布参数） current_goal = hi_policy(hi_input) steps_since_goal = 0 # 底层策略决策：基于当前状态和子目标执行动作 lo_input = torch.cat([state, current_goal], dim=-1) action = lo_policy(lo_input) # 可能包含探索噪声 # 与环境交互 next_state, env_reward, done, _ = env.step(action) # 计算底层内在奖励 lo_reward = - distance(extract_feature(next_state), current_goal) # 存储底层经验 (s, g, a, r_lo, s') lo_replay_buffer.push(state, current_goal, action, lo_reward, next_state) # 更新状态和步数 state = next_state steps_since_goal += 1 episode_return += env_reward # 如果底层达成了当前子目标（距离小于阈值），给予高层一个阶段性奖励 if distance(extract_feature(state), current_goal) < threshold: hi_reward = 1.0 # 阶段性奖励 # 注意：这里存储的高层经验，其“下一个状态”是达成子目标时的状态 # 其“动作”是产生的子目标g hi_replay_buffer.push(hi_input, current_goal, hi_reward, process_state_for_hi(state)) # 定期从回放池采样，更新策略 if training_step % update_freq == 0: update_low_level_policy(lo_replay_buffer, lo_optimizer) update_high_level_policy(hi_replay_buffer, hi_optimizer)

关键点解析：

• 高层经验回放： 高层策略的经验(s_hi, g, r_hi, s_hi')与底层不同。s_hi是制定目标时的状态（可能包含上下文），r_hi主要来自环境最终奖励和阶段性达成奖励，s_hi'是子目标达成后（或C步结束后）的状态，用于评估子目标的好坏。
• 目标达成判定：threshold是一个超参数，设置过小会导致底层永远无法“完成”子目标，高层得不到积极的阶段性反馈；设置过大会使子目标太容易达成，高层可能学会提出毫无挑战性的目标。需要根据具体任务调整。
• 策略更新频率： 底层策略通常更新得更频繁，因为它学习的是相对简单的“趋近”任务。高层策略学习的是更抽象的规划，更新可以慢一些，并且需要更稳定的学习信号（通常需要积累更多成功/失败的经验）。

3.2 网络结构设计示例

底层策略网络通常是一个多层感知机（MLP），输入是状态s和目标g的拼接，输出是动作a的均值（和方差，如果是随机策略）。

class LowLevelPolicy(nn.Module): def __init__(self, state_dim, goal_dim, action_dim, hidden_dim=256): super().__init__() self.net = nn.Sequential( nn.Linear(state_dim + goal_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, action_dim) # 输出动作均值 # 通常还会有一个输出对数标准差的网络头，用于探索 ) def forward(self, state, goal): x = torch.cat([state, goal], dim=-1) return self.net(x)

高层策略网络的输入是状态（可能经过编码），输出是子目标g。这里有一个重要的考量：高层策略的输出范围需要被约束，不能产生超出合理范围或底层策略能力无法企及的目标。常见做法是使用Tanh激活函数将输出限制在[-1, 1]，然后通过线性变换映射到实际的目标空间范围。

class HighLevelPolicy(nn.Module): def __init__(self, state_dim, goal_dim, hidden_dim=256): super().__init__() self.goal_dim = goal_dim self.net = nn.Sequential( nn.Linear(state_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, goal_dim), nn.Tanh() # 将输出限制在[-1, 1] ) # 定义目标空间的上下限 self.goal_high = torch.tensor([...]) # 形状 (goal_dim,) self.goal_low = torch.tensor([...]) # 形状 (goal_dim,) def forward(self, state): normalized_goal = self.net(state) # 范围[-1, 1] # 反归一化到实际目标空间 goal = self.goal_low + 0.5 * (normalized_goal + 1) * (self.goal_high - self.goal_low) return goal

3.3 训练中的“致命陷阱”与调参经验

从我复现和调试分层RL算法的经验来看，以下几个坑几乎一定会遇到：

1. 不稳定的训练动态： 高层和底层策略相互影响，容易形成“共谋”或陷入局部最优。例如，高层可能学会提出一个非常容易达成但与最终任务无关的子目标（比如让机器人原地不动），底层轻松达成并获得内在奖励，高层也因此获得阶段性奖励，两者都“很满意”，但任务永远无法完成。

   • 应对策略： 引入内在奖励的塑形非常重要。不能只奖励接近子目标，还要惩罚那些虽然接近子目标但导致离最终目标更远的行为。可以尝试将最终目标的距离作为一个衰减因子加入内在奖励。同时，给高层策略的奖励函数中加入探索激励，鼓励其提出多样化的子目标。

2. 目标表示学习： 如果原始状态空间非常庞大（如图像），直接让高层策略输出像素级子目标是不现实的。必须学习一个紧凑的潜在表示（Latent Representation）。

   • 实操建议： 可以先用一个卷积编码器（CNN Encoder）将状态图像编码为潜在向量z。然后，高层策略学习输出一个在潜在空间中的子目标z_g。底层策略的输入则变为编码后的状态z和子目标z_g，内在奖励计算为潜在空间中的负距离-||z - z_g||。这需要联合训练编码器和策略网络，复杂度较高，但对于视觉任务几乎是必须的。

3. 超参数敏感： 分层RL的超参数比普通RL更多，包括高层决策周期C、内在奖励的系数、目标达成阈值、两层策略的学习率比例等。

   • 调参顺序： 我个人的习惯是，先固定一个合理的高层周期C，集中精力调好底层策略。可以手动设定一些合理的子目标序列，单独训练底层策略，直到它能快速可靠地达成这些预设目标。然后再放开高层策略进行训练。C的选择很关键：太短，高层频繁干预，规划没有意义；太长，底层在一个错误的方向上走太久。通常C需要与任务的时间尺度匹配，可以通过分析成功轨迹的长度来估计。

4. 迈向真实世界：ALFWorld与VeRL带来的挑战与机遇

HGPO这类算法在相对规整的仿真环境（如MuJoCo机械臂）中可能表现良好，但Agentic RL的终极考场是像ALFWorld这样的富文本、多模态、部分可观察的环境。这带来了全新的挑战，也催生了VeRL（视觉增强RL）等方向的融合。

4.1 ALFWorld：当RL智能体需要“阅读理解”和“常识”

ALFWorld是一个文本交互的模拟家庭环境。智能体接收纯文本的观察（例如：“你站在客厅里。你看到一个红色的苹果在桌子上。”）和文本指令（例如：“把苹果拿到厨房。”）。它需要输出文本动作（例如：“go to table”, “take apple”, “go to kitchen”, “put apple”）。

在这个环境下，HGPO的思想依然适用，但所有组件都需要“文本化”：

• 状态s： 不再是向量，而是当前观察的文本描述。
• 动作a： 是一系列预定义的文本命令。
• 子目标g： 这变得非常有趣。它不能再是一个坐标向量，而可能是一个文本描述的中间状态或一个抽象的动作序列规划。例如，高层策略输出的g可能是“移动到桌子旁”这样一个文本指令，或者是一个潜在空间向量，解码后对应这个语义。

实现上，我们需要强大的文本编码器（如BERT、GPT的嵌入）将文本观察和指令编码为向量。高层策略和底层策略都变成了基于这些文本嵌入进行决策的网络。奖励函数也变得更加稀疏和困难，通常只有最终任务成功时才获得奖励。

经验之谈： 在ALFWorld这类环境中，纯粹的端到端RL训练样本效率极低。这就是为什么“verl做sft训练流程”会成为搜索热词。一个非常有效的实践是先用大量的人类示范轨迹或通过脚本生成的“完美”轨迹，对策略网络进行监督微调（SFT），让它先学会基本的文本到动作的映射和常识性步骤。这相当于给智能体“预装”了基础技能和常识。然后再用RL（可能是分层RL）去微调和优化这些技能，处理更复杂、更长链的任务，并学会从错误中恢复。这种“SFT预训练 + RL微调”的范式，正在成为解决复杂Agentic RL任务的标准流程。

4.2 VeRL的融合：打通视觉与决策的闭环

“VeRL”强调了视觉感知的核心地位。在真实的机器人或具身智能中，状态s主要来自摄像头图像。这意味着我们需要一个视觉编码器（如ResNet）来从像素中提取特征。HGPO的高层策略需要基于这些视觉特征来制定子目标，而子目标本身也可能需要以视觉形式呈现（例如，一个描述目标场景的特征图）。

这里的挑战是双重的：

1. 表示对齐： 如何确保高层策略在视觉特征空间中提出的子目标，是底层策略能够理解和执行的？例如，高层输出一个关于“门把手”的视觉特征作为子目标，底层策略需要能驱动机械臂朝那个特征所代表的空间位置移动。
2. 样本复杂度： 从像素到动作的RL训练本就样本效率低下，分层结构增加了学习难度。

一种可行的技术路径是结合自监督学习。例如，使用对比学习（如SimCLR）或掩码自编码器（MAE）在大量无标签的环境图像上预训练视觉编码器，使其学会提取关于物体、空间关系的鲁棒特征。然后，将这个冻结或微调的编码器用于RL策略网络。高层策略在好的特征空间里制定子目标，会稳定得多。

5. 从复现到创新：你的Agentic RL项目路线图

如果你对Agentic RL感兴趣，想亲手实践一下，我建议遵循一个从易到难的路线，而不是一开始就扎进最复杂的ALFWorld。

第一阶段：理解与复现（1-2周）

1. 选择经典环境： 从相对简单的连续控制环境开始，如Gymnasium的Ant（蚂蚁机器人）或FetchReach（机械臂到达指定位置）。这些环境状态和动作空间定义清晰，奖励函数也相对明确。
2. 实现基础版HGPO： 忽略视觉和文本，专注于实现向量状态下的分层框架。你可以手动定义目标空间（比如蚂蚁的躯干位置，机械臂的末端坐标）。使用上述的伪代码框架，先让智能体学会“走到某个点”这种基础的分层任务。
3. 调试与可视化： 这是最重要的环节。不仅要看总奖励曲线，更要可视化：
   • 高层策略产生的子目标序列是什么样的？它们是否在朝着最终目标合理推进？
   • 底层策略是否能有效追踪子目标？它的内在奖励曲线是否平滑下降？
   • 将智能体的运动轨迹和子目标点在二维或三维空间中画出来，直观感受其规划能力。

第二阶段：进阶与挑战（2-4周）

1. 引入视觉输入： 将上述环境的状态输入从向量改为图像（很多环境支持渲染图像）。你需要引入一个CNN编码器。此时，目标空间可以是潜在特征空间中的一个点。挑战在于如何设计内在奖励？可以尝试计算潜在特征之间的余弦相似度或L2距离作为负奖励。
2. 尝试更复杂任务： 选择FetchPickAndPlace（机械臂抓取并放置）或ShadowHand（灵巧手操作）这类需要多阶段操作的环境。观察HGPO是否比普通的PPO或SAC更能解决这种长视野、稀疏奖励的问题。
3. 探索不同的分层结构： HGPO只是分层RL的一种形式。可以阅读并尝试其他方法，如HIRO（Data-Efficient Hierarchical RL）、FeUdal Networks等，比较它们的优劣。

第三阶段：前沿探索（长期）

1. 拥抱大模型： 尝试使用现成的视觉-语言模型（VLMs）或大语言模型（LLMs）作为高层策略的“大脑”。例如，让LLM根据文本观察和指令，直接输出文本形式的子目标计划。底层则是一个训练好的、能执行这些基础文本指令（如“移动到冰箱前”）的模块化技能策略。
2. 仿真到实物的跨越： 如果你有机器人硬件，这是最终的试金石。在仿真中训练好的分层策略，通过域随机化（Domain Randomization）等技术迁移到实物上。你会遇到仿真中不曾有的噪声、延迟和不确定性，这对高层策略的鲁棒性提出极高要求。
3. 设计自己的Agentic环境： 最终，你可以基于现有框架（如Habitat、iGibson）或自己用Unity/Unreal Engine构建一个更贴近实际应用的环境，定义有意义的复杂任务，并在此测试你的Agentic RL智能体。

这条路并不轻松，充满了调试和失败的夜晚。但每当你看到智能体从漫无目的的探索，到学会主动分解任务、一步步达成目标时，那种成就感是无与伦比的。Agentic RL不仅仅是一组算法，它更是一种让机器智能变得更像“智能体”的思维方式。从HGPO的代码细节入手，理解分层与目标导向的精髓，再逐步扩展到多模态、大模型融合的前沿，你将真正踏入构建下一代自主智能系统的大门。