1. 项目概述从竞赛题目到实战复现看到“华为杯”数学建模竞赛D题“无人机集群协同对抗”这个标题很多参加过建模比赛或者对无人机、多智能体系统感兴趣的朋友估计都会心头一动。这不仅仅是一道赛题它几乎精准地踩在了当前智能无人系统、博弈论与协同控制这几个前沿领域的交叉点上。我当年带队参赛时就对这类题目情有独钟因为它不像一些纯理论推导题它的成果是看得见、摸得着的——你可以把抽象的博弈策略通过代码变成一群虚拟无人机在屏幕上“厮杀”的动态过程那种成就感非常直接。这道题的核心是研究红蓝双方无人机集群在对抗环境下的协同决策问题。红方作为进攻方目标是突破蓝方防御对特定区域或目标进行有效侦察或打击蓝方作为防守方则要拦截、驱离或消耗红方无人机保卫己方区域。这本质上是一个动态的、不完全信息的博弈问题。双方无人机都具备基本的移动、感知和决策能力你需要为它们设计一套“大脑”让它们不仅能根据当前局势做出个体最优决策还能通过协同产生“112”的群体智能效应。复现优秀论文和代码的价值就在于此。论文提供了顶层的建模思路和理论框架比如如何将对抗过程抽象为微分博弈模型、如何设计收益函数、如何求解纳什均衡等。而附带的Python代码则是将理论落地的桥梁。通过研读和运行这些代码你能清晰地看到一个状态向量是如何更新的一次收益计算是如何进行的一个基于规则的简单策略或者一个基于强化学习的复杂策略是如何在仿真环境中交互并演化的。这对于理解多智能体协同对抗的“黑箱”至关重要。无论你是想学习数学建模的完整流程深入理解博弈论的应用还是想掌握用Python进行复杂系统仿真的技巧这个项目都是一个极佳的切入点。2. 核心思路与建模框架拆解面对“无人机集群协同对抗”这样一个复杂系统直接上手写代码是行不通的。优秀论文的价值首先体现在它提供了一套清晰、可操作的建模框架将现实问题层层抽象转化为数学和计算机可以处理的形式。我们一步步来拆解。2.1 问题界定与核心假设任何建模的第一步都是简化现实做出合理假设。对于这道赛题典型的假设会包括二维平面对抗为了简化计算和可视化通常将无人机运动建模在二维平面上高度信息可能作为一个固定参数或忽略不计。这大大降低了状态空间的维度。质点模型与运动学每架无人机被视为一个质点其运动用简单的动力学模型描述比如二阶积分模型。状态通常包括位置(x, y)和速度(vx, vy)控制输入是加速度(ax, ay)并受到最大速度和加速度的限制。# 一个简化的运动更新示例欧拉积分 dt 0.1 # 仿真时间步长 # 更新速度 vx_new vx ax * dt vy_new vy ay * dt # 限制最大速度 speed np.sqrt(vx_new**2 vy_new**2) if speed v_max: vx_new vx_new * v_max / speed vy_new vy_new * v_max / speed # 更新位置 x_new x vx_new * dt y_new y vy_new * dt感知与通信模型无人机并非全知全能。假设每架无人机有一个有限的感知半径只能获取该半径内敌方和友方无人机的位置、速度信息。通信也可能受限例如只能与一定距离内的友机交换信息。这引入了“不完全信息”的特性。对抗规则与胜负判定需要明确定义什么算作“击毁”或“有效侦察”。常见规则有当红方无人机进入蓝方防御的核心区域并停留一定时间则判定红方在该点侦察成功当蓝方无人机与红方无人机距离小于某个“攻击半径”时可能以一定概率判定红方无人机被击毁。比赛通常会给出具体的规则和参数。2.2 博弈论模型构建这是整个项目的理论核心。我们可以将红蓝双方的对抗建模为一个微分博弈或离散时间动态博弈。玩家Players红方集群和蓝方集群。有时可以进一步将每架无人机视为一个玩家形成大规模博弈但通常为了简化将同一方视为一个具有共同目标的“团队玩家”。状态State在时刻t整个系统的状态S_t包含了所有无人机的位置、速度向量可能还包括任务进度如是否有红方无人机进入目标区。行动Action每架无人机在每个时刻选择的加速度方向与大小即控制输入u_i(t)。所有无人机的行动构成了该时刻的联合行动A_t。策略Strategy从状态到行动的映射。也就是我们最终要设计的“大脑”π: S - A。策略可以是确定性的给定状态输出固定行动也可以是随机性的。收益函数Payoff Function这是博弈的“指挥棒”直接决定了策略优化的方向。设计一个合理的收益函数是建模成功的关键。通常它是一个从初始状态到最终状态的累积奖励。红方收益可能包括到达目标区的奖励、停留在目标区的时间奖励、-被击毁的惩罚、-能量消耗与机动剧烈程度相关。蓝方收益可能包括击毁红方无人机的奖励、将红方无人机阻挡在目标区外的奖励、-被红方突破防线的惩罚、-能量消耗。收益函数的设计需要平衡短期与长期、个体与整体。例如蓝方如果只追求击毁可能会离开防守位置导致防线漏洞红方如果只求存活可能永远无法接近目标。2.3 经典求解思路概览给定博弈模型后如何求解最优或较优策略论文中常见的方法有基于最优控制与微分博弈的解析方法对于简化模型如线性二次型博弈可以通过求解哈密顿-雅可比-贝尔曼方程得到最优反馈控制律。这种方法理论优美但难以处理复杂非线性约束和多个智能体。基于规则的策略Rule-based这是最直观、也常作为基线的方法。例如红方采用“迂回接近”、“分散吸引火力集中突破”等策略。代码上体现为当无人机靠近敌方时采取规避机动当发现防线薄弱点时集体向该点移动。蓝方采用“区域联防”、“一对一盯防”、“拦截编队”等策略。例如为每架蓝方无人机分配一个红方目标实施追踪拦截。 规则策略实现简单、可解释性强但灵活性差难以应对复杂多变的局势。基于优化/搜索的方法在每个决策时刻将未来若干步的决策序列作为一个优化问题来求解。例如模型预测控制MPC。蓝方无人机可以预测红方未来几步的轨迹假设其按当前速度直线运动然后求解一个优化问题使自己未来几步的轨迹能够最小化与红方预测轨迹的距离。这种方法实时计算量较大。基于强化学习/多智能体强化学习的方法这是当前研究的热点。将每架无人机或每方集群视为智能体通过与仿真环境的大量交互试错学习到一个价值函数或直接策略网络。深度确定性策略梯度DDPG、多智能体深度确定性策略梯度MADDPG等算法常被用于此类问题。这种方法能学习到非常灵活复杂的策略但需要大量的训练时间和计算资源且可解释性较差。一篇优秀的论文往往会结合多种方法比如用规则策略作为初始策略或保底策略用优化方法进行局部精细决策或者用强化学习来提升整体性能。3. 代码复现环境搭建与核心模块解析拿到优秀论文附带的Python代码后不要急于运行。先花时间理清代码结构搭建好复现环境理解各个模块的职责这样才能真正把代码“吃透”。3.1 环境配置与依赖管理这类项目通常依赖于科学计算和可视化库。一个典型的requirements.txt文件可能包含numpy1.19.2 matplotlib3.3.2 scipy1.5.2 pandas1.1.3 # 可能用于记录数据 pygame2.0.1 # 常用于实时可视化 torch1.7.0 # 如果使用了深度强化学习 gym0.18.0 # 如果使用了OpenAI Gym风格的环境接口强烈建议使用conda或venv创建独立的Python环境来安装这些依赖避免与系统其他项目冲突。# 使用 conda 的示例 conda create -n uav_swarm python3.8 conda activate uav_swarm pip install -r requirements.txt3.2 代码结构深度解读一个组织良好的项目代码其结构本身就反映了建模的思想。我们来看一个典型的结构uav_swarm_project/ ├── main.py # 主程序入口控制仿真流程 ├── config.yaml # 配置文件集中管理所有参数无人机数量、速度、半径、收益权重等 ├── environment.py # **核心**定义对抗环境类负责状态更新、规则判定、收益计算 ├── agents/ # 智能体策略定义目录 │ ├── base_agent.py # 定义智能体基类声明 act(state) 接口 │ ├── rule_based_red.py # 红方规则策略 │ ├── rule_based_blue.py # 蓝方规则策略 │ ├── mpc_blue.py # 蓝方MPC策略 │ └── rl_agent.py # 强化学习智能体如果实现 ├── models/ # 神经网络模型定义如果使用RL │ └── actor_critic.py ├── utils/ # 工具函数 │ ├── geometry.py # 距离计算、角度计算、向量操作等几何工具 │ ├── visualization.py # 静态绘图和动态动画函数 │ └── logger.py # 日志记录 └── run_simulation.py # 批量运行或训练脚本核心模块解析environment.py(环境类)这是整个仿真的“物理引擎”和“裁判”。属性存储红蓝双方所有无人机的状态列表、全局时间、任务目标位置、对抗规则参数等。方法reset(): 初始化所有无人机状态环境归零。step(red_actions, blue_actions):最核心的方法。输入双方所有无人机的动作加速度指令然后 a. 调用_update_dynamics()根据运动学模型更新所有无人机状态。 b. 调用_check_collision()或_check_engagement()根据规则判定是否发生击毁事件。 c. 调用_check_task()判定红方是否抵达目标区域。 d. 调用_calculate_reward()计算本步的红蓝双方收益。 e. 返回新的状态、收益、以及是否结束的标志如一方全灭或任务超时。render(): 调用可视化工具绘制当前态势图。agents/(智能体类)这是无人机的“大脑”。每个智能体类都需要实现一个act(self, observation)方法根据当前观测可能是全局状态也可能是自身感知范围内的局部状态返回动作。规则智能体示例在rule_based_blue.py中可能有一个assign_target函数为每架蓝机分配最近的红机作为目标。然后在act方法中计算指向目标的期望速度向量并将其转化为加速度指令同时考虑避障。class RuleBasedBlueAgent: def act(self, state): blue_actions [] for blue_uav in state.blue_team: # 1. 目标分配找到最近的红方无人机 nearest_red self._find_nearest_enemy(blue_uav, state.red_team) # 2. 计算指向目标的期望方向向量 desired_velocity self._calculate_pursuit_velocity(blue_uav, nearest_red) # 3. 将期望速度转换为加速度考虑当前速度和控制限制 acceleration self._velocity_to_acceleration(blue_uav.velocity, desired_velocity) blue_actions.append(acceleration) return blue_actionsMPC智能体在mpc_blue.py的act方法中会构建一个优化问题可能使用scipy.optimize.minimize优化变量是未来N步的控制序列目标函数是最大化预测期内对红机的拦截效果如最小化距离约束包括动力学和速度/加速度限制。求解后只执行优化序列的第一步。main.py(主循环)这里体现了仿真的时序逻辑。def main(): env UavEnvironment(config) red_agent RuleBasedRedAgent(config) blue_agent RuleBasedBlueAgent(config) state env.reset() done False total_red_reward 0 total_blue_reward 0 while not done: # 1. 智能体决策 red_actions red_agent.act(state) blue_actions blue_agent.act(state) # 2. 环境执行一步 next_state, red_reward, blue_reward, done env.step(red_actions, blue_actions) # 3. 记录与可视化 total_red_reward red_reward total_blue_reward blue_reward if config.render: env.render() time.sleep(0.05) # 控制可视化速度 # 4. 状态更新 state next_state print(fSimulation ended. Red total reward: {total_red_reward}, Blue total reward: {total_blue_reward})注意在复现时务必仔细阅读代码中的配置文件config.yaml或config.py。里面定义的参数如MAX_SPEED、SENSING_RADIUS、KILL_DISTANCE、REWARD_WEIGHTS直接决定了仿真的物理规则和博弈收益修改这些参数会完全改变对抗的性质和结果。这是你进行实验和创新的起点。4. 核心策略的实现与代码剖析理解了框架我们来深入两个典型策略的实现细节一个作为基线的规则策略和一个更高级的模型预测控制策略。通过对比你能更清楚不同方法的优劣和适用场景。4.1 规则策略的编码实现与调参心得规则策略虽然简单但要写出一个在多种场景下都表现鲁棒的规则集并不容易。它非常依赖于对具体问题场景的理解和大量的参数调试。红方分散-集结策略示例class DispersedAttackRedAgent: def __init__(self, config): self.config config self.phase dispersed # 阶段分散 / 集结 self.assembly_point None # 集结坐标 self.threat_threshold 5.0 # 威胁距离阈值小于此值则规避 def act(self, state): actions [] red_team_pos state.red_team_positions blue_team_pos state.blue_team_positions target_pos state.target_position # 第一阶段分散前进吸引火力 if self.phase dispersed: for i, red_pos in enumerate(red_team_pos): # 计算朝向目标的基础向量 vec_to_target target_pos - red_pos dist_to_target np.linalg.norm(vec_to_target) desired_dir vec_to_target / (dist_to_target 1e-5) # 归一化防止除零 # **威胁规避模块**检查附近蓝机 avoidance_vec np.zeros(2) for blue_pos in blue_team_pos: vec_to_blue red_pos - blue_pos dist_to_blue np.linalg.norm(vec_to_blue) if dist_to_blue self.threat_threshold: # 距离越近规避力越强使用反比或指数衰减 strength min(1.0, (self.threat_threshold - dist_to_blue) / self.threat_threshold) avoidance_dir vec_to_blue / (dist_to_blue 1e-5) avoidance_vec strength * avoidance_dir # **分散模块**避免友机过于密集 dispersion_vec np.zeros(2) for j, other_pos in enumerate(red_team_pos): if i j: continue vec_to_other red_pos - other_pos dist_to_other np.linalg.norm(vec_to_other) if dist_to_other 3.0: # 最小友机间距 strength (3.0 - dist_to_other) / 3.0 dispersion_dir vec_to_other / (dist_to_other 1e-5) dispersion_vec strength * dispersion_dir # 合成最终期望方向目标导向 威胁规避 友机分散 # 权重系数是关键调参点 desired_velocity (self.config.w_target * desired_dir self.config.w_avoid * avoidance_vec self.config.w_disperse * dispersion_vec) # 归一化并乘以最大速度 norm np.linalg.norm(desired_velocity) if norm 0: desired_velocity desired_velocity / norm * self.config.max_speed # 转换为加速度简单的比例控制 current_vel state.red_team_velocities[i] acceleration (desired_velocity - current_vel) * self.config.gain actions.append(np.clip(acceleration, -self.config.max_acc, self.config.max_acc)) # 阶段转换条件当红方平均距离目标足够近或蓝方被显著吸引时转为集结 avg_dist_to_target np.mean([np.linalg.norm(p - target_pos) for p in red_team_pos]) if avg_dist_to_target 20.0: self.phase assembled # 选择一个合适的集结点例如蓝方防线的侧翼 self.assembly_point np.array([target_pos[0] - 15, target_pos[1]]) # 第二阶段向集结点集结然后集中突击代码略 ... return actions规则策略调参心得权重系数是灵魂w_target,w_avoid,w_disperse的平衡决定了无人机的行为模式。权重过大可能导致振荡如规避权重太大飞机会不停抖动过小则不起作用。需要通过大量仿真来调整。距离阈值是筋骨threat_threshold、友机最小间距等阈值定义了行为的触发条件。阈值设置需要参考环境尺度、无人机速度和机动能力。阶段转换逻辑是大脑何时从“分散”转为“集结”这个判断逻辑if avg_dist_to_target 20.0非常关键。可以设计更复杂的条件如基于蓝机分布均匀度、己方损失比例等。输出平滑直接从期望方向计算出的加速度可能突变导致轨迹不光滑。可以考虑对加速度或期望速度进行低通滤波或者使用更柔和的PD控制器来代替简单的比例控制。4.2 模型预测控制策略的实现详解MPC策略在每一时刻都求解一个有限时域的开环优化问题但只执行第一步下一时刻根据新的状态重新求解形成滚动优化。对于蓝方拦截来说这是一个很自然的框架。蓝方MPC拦截器简化实现import numpy as np from scipy.optimize import minimize class MPCBlueAgent: def __init__(self, config): self.config config self.prediction_horizon 5 # 预测步长 N self.dt config.dt def act(self, state): blue_actions [] # 假设为每架蓝机独立求解MPC问题分布式可并行 for i, blue_state in enumerate(state.blue_team): # 1. 目标分配预测红机未来轨迹这里简单假设红机保持匀速直线运动 red_targets self._predict_red_trajectories(state.red_team, self.prediction_horizon) # 为当前蓝机分配一个主要拦截目标例如最近的红机 target_idx self._assign_target(blue_state, state.red_team) target_future_positions red_targets[target_idx] # 形状 (N, 2) # 2. 定义MPC优化问题 # 决策变量未来N步的加速度序列 (ax1, ay1, ax2, ay2, ..., axN, ayN) initial_guess np.zeros(2 * self.prediction_horizon) bounds [(-self.config.max_acc, self.config.max_acc)] * (2 * self.prediction_horizon) # 定义目标函数最小化预测期内与目标位置的距离之和 def objective(acc_sequence): acc_sequence acc_sequence.reshape((self.prediction_horizon, 2)) total_cost 0.0 pos blue_state.position.copy() vel blue_state.velocity.copy() for k in range(self.prediction_horizon): # 动力学更新简化欧拉积分 vel vel acc_sequence[k] * self.dt # 速度限幅 speed np.linalg.norm(vel) if speed self.config.max_speed: vel vel * self.config.max_speed / speed pos pos vel * self.dt # 计算成本与对应时刻预测目标位置的距离 predicted_distance np.linalg.norm(pos - target_future_positions[k]) total_cost predicted_distance # 可选加入控制量惩罚使动作更平滑 total_cost 0.01 * np.linalg.norm(acc_sequence[k])**2 return total_cost # 3. 求解优化问题 result minimize(objective, initial_guess, boundsbounds, methodSLSQP, options{maxiter: 50, ftol: 1e-4}) if not result.success: print(fMPC optimization for blue {i} failed: {result.message}) # 失败时回退到规则策略如追向当前目标 fallback_action self._fallback_rule(blue_state, state.red_team[target_idx]) blue_actions.append(fallback_action) else: # 取优化结果的第一步控制量作为当前动作 optimal_acc_seq result.x.reshape((self.prediction_horizon, 2)) current_action optimal_acc_seq[0] blue_actions.append(current_action) return blue_actions def _predict_red_trajectories(self, red_team, horizon): # 简单的匀速直线预测 predictions [] for red in red_team: pred_traj [] pos red.position vel red.velocity for _ in range(horizon): pos pos vel * self.dt pred_traj.append(pos.copy()) predictions.append(np.array(pred_traj)) return predictionsMPC策略实现要点与陷阱预测模型准确性MPC的性能极度依赖于对敌方未来行为预测的准确性。上例中简单的匀速直线预测CV模型在对方做机动时效果很差。可以考虑更复杂的预测模型如当前转向率恒定CT模型甚至将对方也假设为MPC优化器并进行博弈推演这就变成了求解微分博弈计算量激增。优化求解的实时性MPC需要在每个仿真步长可能短至0.1秒内完成优化求解。scipy.optimize.minimize对于低维问题预测步长N较小尚可但维度过高或问题非凸时可能无法在限定时间内找到可行解。必须设置求解器的最大迭代次数和容差并准备好优化失败时的后备策略fallback_rule。目标函数设计上例只最小化了距离。更完善的目标函数还应考虑避免与友机碰撞、保持在防御区域内、控制能量消耗等。这些都需要作为惩罚项加入目标函数。分布式 vs 集中式上例为每架蓝机独立求解是分布式的计算可并行但忽略了协同。集中式MPC将所有蓝机的控制序列一起优化能更好地实现协同拦截如围捕但决策变量维数成倍增长求解更困难。实操心得在实际编码中MPC的调试非常耗时。一个有效的方法是先在一个静止目标场景下测试MPC控制器确保它能正确规划出一条平滑的拦截轨迹。然后再引入移动目标并逐步加入更复杂的预测模型和约束。可视化优化得到的未来预测轨迹对于调试至关重要。5. 仿真实验设计与结果分析有了可运行的代码和策略下一步就是系统地设计实验评估策略性能并进行分析。这是将代码跑出“故事”的关键一步。5.1 实验场景设计不能只在一个固定场景下测试。需要设计一系列有代表性的场景来考验策略的鲁棒性和智能性。基准场景双方数量对称如3v3初始位置固定目标点位于蓝方后方。用于初步验证代码和策略的基本功能。数量不对称场景红方优势5v3测试蓝方策略在以少打多时的抗压能力和协作效率。蓝方优势3v5测试红方策略在劣势下的渗透能力和生存能力。初始阵型变化场景红方密集突击 vs 蓝方线性布防。红方分散包围 vs 蓝方环形防御。测试策略对初始条件的敏感性。动态目标场景目标点位置在仿真中途改变测试策略的适应性和重规划能力。通信受限场景在环境代码中模拟通信延迟或丢包测试分布式策略在信息不完全下的表现。5.2 评估指标与可视化除了看最终胜负红方是否成功抵达目标还需要更精细的量化指标来评估策略质量任务成功率在多次随机初始化的仿真中红方完成任务的次数占比。平均生存时间红方/蓝方无人机从开始到被击毁的平均存活步数。交换比蓝方击毁红方数量 : 红方击毁蓝方数量如果规则支持互毁。平均抵达时间红方成功任务中从开始到首次有无人机进入目标区的平均时间。控制效率双方无人机平均加速度的幅值或变化率反映策略的“能耗”和“平滑度”。协同度量例如蓝方无人机位置的标准差反映阵型分散程度或红方无人机与目标点距离的方差反映进攻的同步性。可视化是分析的利器轨迹图绘制所有无人机从开始到结束的完整运动轨迹用不同颜色区分红蓝用点的大小或标记表示不同时间点。一眼就能看出策略的宏观运动模式。态势动画使用matplotlib.animation或pygame制作实时动画可以直观展示对抗的动态过程、决策瞬间如规避、拦截和交互细节。指标随时间变化曲线绘制“存活无人机数量 vs 时间”、“最小目标距离 vs 时间”、“平均收益 vs 时间”等曲线分析对抗过程的阶段性。参数敏感性热图例如绘制红方规避权重w_avoid和分散权重w_disperse在不同取值组合下的任务成功率热图直观找到性能较优的参数区域。5.3 对比分析与策略改进将不同的策略如规则红 vs 规则蓝规则红 vs MPC蓝强化学习红 vs MPC蓝放在相同的实验场景下进行多次蒙特卡洛仿真统计上述评估指标。分析示例“我们发现在基准场景下简单的红方规则策略直接冲向目标面对MPC蓝方时成功率几乎为0。因为MPC蓝方能够精准预测其路径并实施拦截。而当红方采用‘分散-集结’规则后成功率提升至40%。分散阶段有效地吸引了MPC蓝方的火力使其预测和拦截目标分散为后续集结突破创造了机会。然而MPC蓝方在预测模型中如果加入对红方可能集结的假设其拦截成功率又大幅回升。”基于分析可以提出策略改进方向对于规则策略增加更多的行为状态如“佯攻”、“迂回”、“支援”并设计更智能的状态转换条件。对于MPC策略改进预测模型不仅预测物理运动也尝试预测对方的策略意图这是一个层次更高的博弈。考虑混合策略例如蓝方大部分无人机采用计算高效的规则防守指定1-2架“游走”无人机采用MPC专门应对红方的关键突破点。6. 从复现到创新可能的拓展方向当你成功复现了论文的基本模型和策略后这个项目就成为了你探索更广阔天地的绝佳跳板。以下是一些值得深入的方向引入更复杂的动力学模型将质点模型替换为更真实的四旋翼无人机模型考虑姿态动力学、电机响应延迟等。控制输入变为姿态角或电机转速这会立刻将问题复杂度提升一个量级。探索高级博弈论算法尝试实现随机博弈或部分可观测马尔可夫决策过程的求解算法。当无人机感知范围有限时它无法得知全局状态POMDP是一个更合适的框架。可以尝试实现值迭代、策略迭代或结合深度学习的POMDP求解方法。深入多智能体强化学习算法实现在现有环境基础上封装成标准的Gym或PettingZoo多智能体环境。然后实现经典的MARL算法如MADDPG、QMIX、MAPPO等。你需要定义好每个智能体的观测空间、动作空间和共享的奖励函数。训练技巧MARL训练不稳定是出了名的。你需要设计课程学习从简单场景开始、参数共享、智能体编号随机化等技巧来提升训练效果。对手建模让智能体在训练中不仅与环境交互也与一个不断进化的对手策略池进行对抗从而学习到更鲁棒、更具适应性的策略。考虑通信与网络在环境中模拟一个通信网络无人机只能与邻居交换信息。研究在分布式通信约束下如何通过一致性算法、分布式优化等方法实现集群的协同决策。结合视觉感知这是一个更有挑战性的方向。假设无人机只能通过机载摄像头获取局部像素信息你需要引入卷积神经网络来处理图像输出动作或高级特征。这会将问题变成一个“从像素到动作”的端到端控制问题通常需要结合深度强化学习。复现只是学习的开始。真正的收获来自于你以这个项目为基石选择一个感兴趣的方向提出自己的问题设计实验修改代码观察结果分析原因不断迭代。这个过程本身就是一次完整的科研或工程训练。当你看到自己改进的策略在仿真中展现出更智能、更高效的协同行为时那种乐趣和满足感是任何现成结果都无法比拟的。