DDPG算法优化永磁同步电机位置控制研究

1. 项目背景与核心价值

永磁同步电机（PMSM）作为现代工业驱动领域的核心部件，其位置控制精度直接影响高端装备制造、机器人关节等关键场景的性能表现。传统PI控制器虽然结构简单，但在非线性工况下容易出现超调、振荡等问题；模糊PI控制器通过规则库优化参数，但依赖专家经验且动态响应仍有提升空间。本项目采用深度确定性策略梯度（DDPG）算法构建强化学习控制器，在Simulink环境中实现三种控制方案的对比验证。

关键突破点：首次将DDPG算法与电机转子位置误差、误差变化率双状态量结合，设计连续动作空间下的转矩指令输出策略，解决传统方法在变负载工况下的自适应难题。

2. 系统建模与仿真框架

2.1 PMSM数学模型构建

在dq旋转坐标系下建立电机动态方程：

电压方程： v_d = R_s*i_d + L_d*di_d/dt - ω_e*L_q*i_q v_q = R_s*i_q + L_q*di_q/dt + ω_e*(L_d*i_d + ψ_f) 运动方程： J*dω_m/dt = T_e - T_L - B*ω_m T_e = 1.5p[ψ_f*i_q + (L_d - L_q)*i_d*i_q]

其中ψ_f为永磁体磁链，p为极对数。在Simulink中采用Park/Clarke变换模块实现坐标转换，通过SVPWM模块生成逆变器驱动信号。

2.2 控制方案实现

2.2.1 传统PI控制器设计

位置环采用串级控制结构：

外环（位置）：u_θ = Kp_θ*(θ_ref - θ) + Ki_θ*∫(θ_ref -θ)dt 内环（速度）：ω_ref = sat(u_θ, ω_max)

参数整定采用Ziegler-Nichols临界比例法，实测临界增益K_cr=12.5，振荡周期T_cr=0.08s，最终取Kp=7.5, Ki=187.5。

2.2.2 模糊PI控制器设计

建立双输入单输出模糊推理系统：

• 输入变量：位置误差e（论域[-5,5]度）、误差变化率ec（论域[-50,50]度/s）
• 输出变量：ΔKp、ΔKi（论域[-30%,30%]）
• 隶属度函数：7个三角型模糊集（NB,NM,NS,Z,PS,PM,PB）
• 规则库示例：IF e is PB AND ec is Z THEN ΔKp is PB, ΔKi is NB

2.2.3 DDPG控制器实现

% 演员网络结构 actorNet = [ featureInputLayer(2,'Name','state') fullyConnectedLayer(64,'Name','fc1') reluLayer('Name','relu1') fullyConnectedLayer(32,'Name','fc2') reluLayer('Name','relu2') fullyConnectedLayer(1,'Name','output') tanhLayer('Name','tanh1')]; % 输出归一化转矩指令 % 经验回放缓存设置 buffer = rlReplayBuffer(10000,'SampleTime',0.001); agentOpts = rlDDPGAgentOptions('SampleTime',0.001,... 'DiscountFactor',0.99,... 'TargetSmoothFactor',1e-3);

3. 关键实现细节

3.1 状态空间设计

强化学习观测状态包含：

• 位置跟踪误差：θ_err = θ_ref - θ_actual
• 误差变化率：dθ_err/dt 状态归一化处理：

obs = [θ_err/10; (dθ_err/dt)/100]; % 分母为经验值

3.2 奖励函数设计

采用分段奖励机制：

r = - (w1*|θ_err| + w2*|T_e|) % 基础项 if |θ_err|>5° r = r - 10 % 超调惩罚 elseif |θ_err|<0.1° r = r + 1 % 稳态奖励 end

经网格搜索确定权重w1=0.8, w2=0.2。

3.3 训练策略

• 探索噪声：OU过程，θ=0.15, σ=0.2
• 训练场景：包含阶跃响应（5°→15°）、正弦跟踪（2Hz）、负载突变（0→5Nm）
• 关键参数：批大小128，学习率actor=1e-4, critic=1e-3

4. 对比实验结果

4.1 动态性能指标

4.2 典型工况对比

4.2.1 阶跃响应（10°→20°）

• PI控制：出现明显超调（14.7%），调节时间185ms
• DDPG：超调量仅2.3%，且120ms进入稳态带

4.2.2 变负载工况（5Nm突加）

传统PI出现1.5°位置跌落，恢复时间220ms；DDPG控制器仅产生0.3°瞬时偏差，80ms内恢复。

5. 工程实现建议

5.1 部署优化技巧

• 网络量化：将actor网络权重从float32转为fixed-point（Q15格式），内存占用减少75%
• 实时性保障：在STM32H743上实测推理时间0.8ms（216MHz主频）

5.2 参数调试经验

• 奖励权重调整：先固定w2=0调w1确保跟踪精度，再逐步增加w2抑制控制量
• 探索噪声衰减：建议按σ=σ_maxexp(-kepisode)策略，k=0.003

实测发现：当状态量包含电流环信息时（如i_d, i_q），训练收敛速度提升40%，但需权衡观测维度增加带来的计算开销。

6. 扩展应用方向

本方法可迁移至：

• 多电机协同控制（需改造成多智能体架构）
• 带弹性负载的机械臂关节控制（增加振动状态观测）
• 能量优化控制（修改奖励函数加入效率项）

在实际伺服系统中，建议采用"RL+PI"的混合架构：RL负责前馈补偿，PI维持基础稳定，既保证鲁棒性又具备学习能力。这种架构在某型号SCARA机器人上实测位置重复精度达到±0.01°，较纯PI控制提升5倍。