刚接触ADPAdaptive Dynamic Programming自适应动态规划那阵子我踩过最深的坑不是算法推导而是明明按照论文把公式实现了在线运行时却总感觉“哪儿不对”——权值发飘、控制量抖得像筛糠甚至直接发散。折腾了很久最后定位到的元凶之一就是持续激励条件Persistence of ExcitationPE条件没有被满足。这个话题在控制圈被讨论了很多年但大多数资料要么只给数学定义要么只在收敛性证明里提一句“假设PE条件成立”压根没人告诉你实际系统里PE条件是怎么被破坏的破坏了会有什么现象有没有工程上能落地的补救办法这篇文章就把这些问题一次性讲清楚。1. 持续激励条件的底层逻辑1.1 持续激励条件到底在要求什么先看教科书定义。一个信号序列或者回归向量φ(t)满足持续激励条件指的是存在正数T和α使得对任意时间t都有∫(t, tT) φ(τ)φ(τ)^T dτ ≥ αI用大白话说就是信号在任意一段长度为T的时间窗内它的能量不能太“偏科”必须在所有方向上都有足够的成分。你可以把φ(t)想象成一锅汤里的各种调料PE条件要求这锅汤在任何一个时间段里各种调料都得存在且比例不过分悬殊不能这十分钟全是咸味下十分钟全是甜味。在ADP在线学习里这个φ(t)一般是系统状态构成的回归向量或者评价网络Critic的激活函数梯度向量。当它满足PE条件时参数辨识的Hessian矩阵或者说信息矩阵是正定的这意味着每一轮数据都在“各个方向”上给参数估计提供有效的约束参数才能被持续推向真实值。如果PE条件不满足本质上是数据信息矩阵奇异或近似奇异。这时候从数据里能提取的关于未知参数的信息是“残缺”的就像一张照片拍了但曝光不足暗部细节全是噪点你怎么修图都修不出正常画质。1.2 为什么ADP在线学习绕不开PE条件传统离线强化学习或者批量回归数据是预先采好的如果数据覆盖度不够你可以重新采集或者做数据增强。但线ADP是边运行边学习的控制策略和参数估计是同时进行的输入数据由当前策略产生的闭环轨迹决定——这就形成了一个内在矛盾。这要从ADP的迭代结构说起。在线ADP通常包含两个网络也可能共用结构一个是执行网络Actor负责输出控制律一个是评价网络Critic负责逼近代价函数或Q函数。两个网络都需要在线更新更新公式里都包含回归向量和增益矩阵。只要任何一个网络的更新方向在当前状态下“信息量不足”整个迭代循环就会出问题。举一个具体的例子用评价网络更新的典型形式θ_c(k1) θ_c(k) β φ(k) (γ φ(k)^T θ_c(k) r(k) - φ(k)^T θ_c(k))这里的φ(k)是Critic网络的回归向量r(k)是即时代价γ是折扣因子。收敛性分析里要求φ(k)持续激励是为了保证误差方程里那个“信息矩阵”的最小特征值不趋于零。如果φ(k)长期躺在一个低维子空间里那么θ_c在子空间内的分量可以收敛但垂直方向的分量就是“自由漂移”状态。打个比方这就像你只用一把长尺子去测量一个三维物体的体积无论你量多少次只能得到长度信息宽度和高度永远测不准。ADP里的PE条件本质上就是要求你的“测量工具”能覆盖待估计参数的各个维度。2. PE条件不满足算法会怎么“翻车”2.1 权值漂移只是表象最直观的故障就是参数权值无法收敛甚至持续漂移。我调试一个非线性系统最优控制案例的时候系统已经进入稳态可Critic网络的权值还是以小幅度正弦波的形式“蠕动”每次都以为快收敛了下一轮又被拉回去。这背后的机理是当系统状态趋于恒定或周期性重复时回归向量φ(t)的各分量变成强相关的量信息矩阵的秩长期不足。参数更新公式虽然在名义上是负梯度方向但由于梯度信息不完整每次更新求出的“最优方向”其实是投影到低维子空间后的结果必然带了误差。更要命的是权值漂移会反哺控制量振荡。你检查执行网络输出时发现输入层数据都正常但输出层控制指令里有高频抖动——这就是参数漂移串到前面了。很多初学ADP的人会怀疑是不是采样周期、微分器增益没调好结果调了半天根子就在PE条件这儿。2.2 从矩阵秩的角度理解PE条件失效的危害我们可以把PE条件失效的后果用矩阵语言清晰地拆开。设信息矩阵为Σ Σ φ(τ)φ(τ)^T它的大小通常等于待估计参数的个数。PE条件要求Σ在时间平均意义下正定等价于它的最小特征值λ_min大于某个正数。失效时有以下两种典型状态第一种λ_min非常接近于零但不严格为零。这种情况最隐蔽比如系统状态里有两个分量高度共线信息矩阵有一个很小的特征值。此时参数的某些组合方向更新极慢表现为权值长时间爬坡、收敛时间远超预期。第二种λ_min严格等于零即信息矩阵奇异。此时参数估计陷入了“死角”某些参数分量完全无法被数据观测到。这不仅仅是收敛慢的问题而是理论上就不可能收敛长期积分下去权值就可能漂移到一个错误的方向。我见过有人在罚函数正则项上偷懒直接给信息矩阵加一个小对角阵εI以为能把秩补满。确实奇异矩阵加短边之后可逆了但回忆ε对应的特征向量方向参数收敛的信噪比极低。如果ε取太大收敛结果被正则项“拖”歪取太小数值上还是病态的。这只能算一个缓解手段不是根治方案。2.3 收敛到错误值比不收敛更危险PE条件不满足还有一种更隐蔽的后果参数收敛了但收敛到一个错误的值。这在在线强化学习里很常见因为当激励不足时误差信号可以被参数的一个错误组合“解释”掉系统同样能把误差降到零但这个解和真实最优解相去甚远。我调试过一个用ADP做飞行器姿态控制的例子由于参考姿态几乎恒定回归向量的分量高度重合。跑了百多轮迭代后Critic权值居然看起来收敛了代价误差也很小但一旦给系统一个与训练工况不同的扰动控制性能立刻崩掉。原因是训练时激励范围太窄学到的函数只在狭窄区间内有拟合能力泛化性极差。这提醒我们一个关键点运行中不能只盯着误差曲线看必须持续监控回归向量的激励水平否则你会误以为算法成功了实际上模型已经“练废”。3. 为什么稳态系统天然难以满足PE条件3.1 闭环收敛带来的“激励死锁”这是在线ADP里最讽刺、最核心的一个工程困境控制器学得越好系统越趋于稳定可用来继续学习的激励就越少。想象一个自适应控制器刚开始运行时系统还处于较大的偏差状态状态变量的幅值、频率成分都比较丰富这不难满足PE条件。可是随着执行网络越学越好控制误差被压缩状态变量的幅值越来越小回归向量中的所有元素都趋近于零信息矩阵自然就退化。用控制术语说这是闭环辨识的核心难点反馈回路本身会抑制激励信号。如果你持续保持高增益反馈或强激励系统的调节性能又会被破坏。所以在线ADP的收敛和稳态性能之间天然存在一个非此即彼的博弈。我评价一个ADP工程方案时特别看重它在系统接近稳态后如何维持“信息供给”因为算法最终的价值恰恰体现在高精度跟踪和强鲁棒性这些稳态指标上而不是只在瞬态那一段能跑。3.2 工程细节中的隐性PE破坏因子除了稳态问题还有几个被忽视的工程细节也会在日常操作中悄悄破坏PE条件。传感器量化与采样零阶保持如果ADP跑在嵌入式平台上AD采样量化误差、零阶保持器的平滑效应会滤掉高频激励成分。想象你明明给系统施加了白噪声经过采样与量化后到回归向量里只剩低频分量PE条件实际上已经恶化。归一化处理过度有些实现为了数值稳定会把状态变量归一化到[-1,1]这本身没问题。但如果归一化参数是静态的、按上限标定当系统实际工作在很小幅值时归一化后的回归变量会变得很小放大了感知增益导致参数更新缓慢出现激励不足的等效效果。坏数据与通信丢包分布式ADP系统里状态数据要经过网络传输丢包或延迟会让回归向量的统计分布被破坏相当于原本应该持续激励的信号被人为切成了“马赛克”。这种场景下PE条件可能只在部分时间窗内满足整体平均后仍然不满足。这些细节单个看都不起眼叠在一起却足以让严格的PE条件在实际系统中形同虚设。这也是为什么很多论文方法仿真时表现不错一上真实平台就问题频发。4. 工程上常用的PE条件缓解与替代方案4.1 探测噪声最常见的“不得已而为之”既然问题是激励不足最直觉的解法就是人为注入探测噪声。标准的做法是在控制输入上叠加一个激励信号d(t)常见选择有白噪声、正弦扫频信号或方波信号。以正弦扫频为例d(t) A(t) * sin(2π * f_sw(t) * t)其中f_sw(t)随时间从f_min扫到f_maxA(t)是随时间变化的幅值。扫频的好处是能在有限时间内覆盖一个频带比单一频率更接近PE条件的要求。我通常会把扫频周期设为闭环响应时间常数的2到3倍保证系统有充足时间响应并反馈到回归向量中。幅值选择是最纠结的环节。理论上幅值越大激励越充分PE条件越容易满足但代价是控制性能变差系统稳定精度被探测噪声破坏。我的经验是从控制指令的1%开始尝试逐步加大观察两个指标一是参数估计协方差是否明显下降二是系统稳态误差是否还在可接受范围。通常3%到5%的幅值能拿到不错的折中。需要注意探测噪声的频率不能落在系统的谐振点附近否则会把不稳定的模态激发出来。如果一个系统有明确的谐振频率扫频范围一定要绕开那个频段或者改用多频正弦叠加而不是宽带噪声。4.2 经验回放用历史数据补足当前激励这个方法借鉴了强化学习里Experience Replay的思路也是我比较推荐的方式。原理很简单既然当前的回归向量激励不足那就把过去激励充足时刻的数据存起来在参数更新时混合使用相当于给信息矩阵补充“历史视角”。在ADP的离散实现里可以维护一个经验池保存一批形如(φ(τ), r(τ), φ(τ1))的数据元组。每次更新参数时从池里随机抽取小批量的历史数据和当前时刻的数据合并后一起算梯度方向。这样做的好处是即使系统当前已经稳定只要经验池里还有足够丰富的历史片段参数估计就不会完全停下来。工程实现时要注意两个细节。一是经验池的数据时效性如果系统工况发生了大范围切换太老的数据反而会给当前参数估计引入偏差建议设定一个数据新鲜度窗口只保留合适时间跨度内的数据。二是重放频率不需要每次更新都重放全部历史数据那样计算量太大我通常的做法是每次在线更新时只在数据池里随机抽取10%到20%的样本一起参与梯度计算这样计算开销可控信息丰富度也有了。工业级ADP工具比如腾讯云ADP在线学习平台这类工程化产品通常也会集成类似经验回放的组件并且允许用户在界面层配置回放池大小和抽样策略这说明它已经不是学术界的小众技巧而是工程界的标准配置。4.3 并行学习从机理上绕开PE条件如果不想依赖探测噪声也不想靠历史数据“补课”工程界还有一种更治本的手段并行学习Concurrent Learning。这个方法的核心思想是利用过去存储的数据点直接构造额外的误差项让参数更新不再只依赖当前时间点的回归向量从而放宽甚至绕过PE条件。具体做法是在在线运行的同时定期挑选一批历史和当前的数据点构造额外的预测误差ε_CL Σ ω_i [r_i φ(x_i)^T θ_c - φ(x_i1)^T θ_c]把这个误差项加入到总的梯度计算中。这样做的好处是只要存储的数据点集合本身在空间上是富集的即使当前时刻的回归向量退化更新方向仍然能由历史数据合力拉回来。并行学习和经验回放的区别在于经验回放是把历史数据变成梯度更新的输入本质上还是一次性使用并行学习则是把历史数据的预测误差作为持续附加的修正项在数学上能保证存储数据点在空间上充分不同情态下即使PE条件不满足参数误差也会渐进收敛到零。我对并行学习的基本判断是如果你有存储系统的余量内存、算力这是最值得优先尝试的路线因为它不牺牲稳态性能也不需要额外注入能量对人的体验最友好。4.4 优化器与正则化层面的辅助手段当PE条件已经不能满足或者说短期内难以改善时优化器与正则化的调整可以作为辅助尝试虽然不能根治问题但能显著减轻后果。最简单的做法是用带死区的参数更新规则。当回归向量的范数低于某个阈值时认为激励不足主动暂停参数更新。这个“死区控制器”看似保守实则非常实用能避免参数在无信息区间内随机漂移相当于人为给PE条件加了一个“保护墙”。更高级一点的可以用自适应学习率。一般的梯度下降用固定学习率β但在激励不足时参数更新信号方向波动大容易绕圈。可以基于信息矩阵的最小特征值动态调整学习率当λ_min接近零时把学习率調小减少随机游走当λ_min较大时恢复学习率正常更新。这个策略在工程实现中比较简单只要在线维护一个滑动窗口来估计λ_min即可。正则化方面L2正则能抑制参数幅值无限增长但对缓解秩亏帮助不大更好的选择是给信息矩阵加自适应对角加载。Σ_new Σ δ(t)I, δ(t)随激励水平自适应变化。当激励充沛时δ取小值不影响收敛精度激励不足时δ增大保证更新矩阵可逆防止数值震荡。这个做法本质上是一种时间正则化比固定小值对角加载更符合实际需求。5. PE条件失效的在线诊断方法5.1 监控回归矩阵的持续激励指数实际操作中我们不能等到算法发散才意识到PE条件失效那样代价太高。标准做法是在线监控一个量我称之为持续激励指数算法很简单用滑动时间窗内采集的回归向量组成一个矩阵计算当前窗口内各向量平方和的外积矩阵特征值。具体流程如下维护一个长度为T的数据缓冲区每次采样后把最新的回归向量存入并弹出最旧的数据计算矩阵Σ_buf (1/T)Σ φ(k)φ(k)^T求Σ_buf的最小特征值λ_min或者退化一点用奇异值分解取最小奇异值σ_min将σ_min与预设阈值比较判断当前激励水平。我用Python实现过这个监控逻辑有个简化版本import numpy as np class PEMonitor: def __init__(self, window_size, threshold): self.window [] self.window_size window_size self.threshold threshold def update(self, phi): if len(self.window) self.window_size: self.window.pop(0) self.window.append(np.array(phi)) if len(self.window) self.window_size: return None M np.zeros((len(phi), len(phi))) for ph in self.window: M np.outer(ph, ph) M / self.window_size singular_values np.linalg.svd(M, compute_uvFalse) return singular_values[-1]当返回值低于阈值时就可以触发一系列应对动作增大探测噪声如果策略允许、暂停参数更新、或者强制从经验池多采一些历史数据。这个监控器我建议一定要可视化出来因为它能帮你直观看出系统在哪个阶段进入激励不足对调试周期绝对有帮助。5.2 参数估计的收敛性判断准则有时候PE条件指数下降但系统误差指标还是看着正常这时候需要靠参数层面的判断来加深洞察。一个办法是观察参数估计的逐样本变化量。在ADP更新中参数每步的更新量是β乘以某个向量。如果持续激励充足这个更新量应该随着迭代次数增加而递减且方向逐渐趋于稳定如果激励不足更新量可能长期处于一个“布朗运动”状态平均值很小但方差一直在波动。实际操作中我可以计算一个滑动窗口内参数增量向量θ_c(k) - θ_c(k-1)的均值与标准差比值收敛度 |mean(Δθ)| / std(Δθ)如果这个比值持续大于某个阈值比如大于2说明参数趋向性明显即使PE条件有一定退化也能接受如果这个比值趋近于0说明参数只是围绕某个中心随机走动几乎肯定处于激励不足状态。结合这两个指标你就有了一套完整的在线诊断体系激励指数判断数据信息量参数收敛度判断参数更新质量。两者配合使用基本能覆盖大多数ADP调试问题。5.3 参考轨迹与多工况设计的源头缓解最后说一个战略层面的思路与其在算法里补救PE条件不如从激励源头上做设计。如果被控系统的运行工况原本就比较单一可以考虑在参考轨迹设计环节加入多工况切换的机制让系统周期性经历不同的目标姿态、目标速度或者负载条件这样回归向量自然呈现出丰富的持续性激发。这个方法在工业机器人路径规划里非常实用。以前做机械臂的位置力混合控制ADP时让末端执行器在任务间隙执行一段小幅正弦扫描路径既不影响正常作业效率又能让状态变量持续“抖动”PE条件轻松满足。代价只是加了段不起眼的空行程换来的是参数估计质量和后续控制的稳定性这笔账非常划算。6. 从实验室到工程化的最后一步ADP在线学习的很多坑论文里不会写只有自己踩过一遍才能总结出可靠的实操经验。从我这边的实战感受看PE条件问题需要全链路把关单靠某一个环节去死磕往往事倍功半。我还是想强调三个基本判断。持续激励条件不是一个理论死规矩而是一个信息供给提醒。它提醒你的是在线学习中数据要想办法持续地覆盖未知参数的各个方向。理解了这一点你自然就能想出各种工程解法而不是死记PE条件的数学公式。PE条件的缓解方案千万别只用一个需要组合拳。我的标准配置是尽量从参考轨迹上做文章从源头增强激励算法层加经验池回放保证历史数据不浪费并在激励不足区域补充信息数值层做自适应对角加载防止信息矩阵奇异诊断层持续监控激励指数一旦低于阈值就自动调整策略。这套方案配合起来在非线性系统、强化学习控制和一般自适应控制的工程项目里都很稳。最后一个小体会在线ADP的性能调试里很多“莫名其妙”的发散和震荡最初都不在算法推导的“主航道”上而是在这些工程细节里。把持续激励这件事真正重视起来并且落实到诊断工具和防护机制中你的算法才算是真正具备了部署到实际系统的资格。毕竟一个模型如果连自己学到什么程度、学得全不全都不知道那它在真实系统里的每一次决策本质上都是“盲盒操作”。