手把手解读DROO训练主循环30000时隙在线学习的完整旅程【免费下载链接】DROODeep Reinforcement Learning for Online Computation Offloading in Wireless Powered Mobile-Edge Computing Networks项目地址: https://gitcode.com/gh_mirrors/dr/DROO一句话导读DROO是一个基于深度强化学习Deep Reinforcement Learning解决无线供能移动边缘计算网络中在线计算卸载问题的开源项目。本文不堆砌代码只带你走完它最核心的30000 时隙训练主循环看懂每一步在做什么、为什么这么做。DROODeep Reinforcement Learning for Online Computation Offloading是一个用深度强化学习做在线计算卸载决策的开源项目面向无线供能移动边缘计算WPMEC网络。想真正理解 DROO最好的入口就是它的训练主循环——整整30000 个时隙的在线学习旅程。下面以代码最清晰的 PyTorch 版本 mainPyTorch.py 为主线手把手拆解这趟旅程。DROO 到底在解决什么问题先建立一个直观场景 ️一个接入点AP通过射频广播给无线设备WD无线充电设备用这些能量处理任务面临二选一本地计算卸载标志0或卸载到边缘服务器卸载标志1N 个设备就有 2^N 种卸载组合N10 时是 1024 种N20 时超过 100 万种穷举根本不现实。DROO 的任务就是根据实时变化的信道增益快速选出一个接近最优的二进制卸载决策从而最大化系统加权计算速率。这正是它被称为在线学习的原因每个时隙都要立刻做出决策同时不断从经验中改进自己。主循环的六个关键数字先记住这张参数表后面每一步都会用到参数默认值含义n30000在线学习的时隙总数一次完整旅程N10无线设备用户数量KN每时隙生成的候选卸载决策个数Memory1024记忆池经验回放容量Delta32自适应 K 的更新间隔training_interval10每 10 个时隙训练一次神经网络主循环六步拆解30000 时隙里发生了什么整个主循环就是for i in range(30000)每个时隙依次走完下面六步 。第一步加载数据与初始化DROO 训练前的准备数据来自 data/data_10.mat共 30000 个样本每个样本包含信道增益input_h、最优卸载模式output_mode、能量广播参数、传输时间与加权计算速率output_obj代码把信道增益统一乘以 1000000 放大到接近 1这是深度学习中常见的输入归一化小技巧构建三层全连接网络[N, 120, 80, N]输入信道、输出卸载偏好学习率 0.01。第二步自适应 K 机制DROO 加速决策的秘诀K 不是固定的每 32 个时隙自动调整一次max_k max(k_idx_his[-Delta:-1]) 1 K min(max_k 1, N)逻辑很简单如果最近一段时间网络总是选中第 0 号候选模式说明它已经很有把握就可以缩小 K省去后面大量的二分法计算。这是 DROO由粗到精的经典策略。第三步神经网络生成候选卸载决策decode把当前时隙的信道增益 h 喂给 DNN网络输出 N 个 0~1 之间的连续值。再通过OP保序量化或KNN两种模式把连续值量化成 K 个二进制卸载模式。这一步的实现位于 memoryPyTorch.py 的decode()方法。第四步二分法计算每个候选模式的奖励对每个候选模式 m调用 optimization.py 中的bisection()求解资源分配问题得到一个加权计算速率这就是该模式的奖励。K 个模式算完后只保留奖励最大的那个。二分法单次求解平均只需约 0.01 秒这也是主循环能支撑 30000 次在线决策的关键。第五步记忆存储与网络训练在线学习的核心这是整个 DROO 的灵魂 ❤️把当前信道 最优模式这对样本写入容量 1024 的环形记忆池每 10 个时隙从记忆池随机采样 128 条用二分类交叉熵损失BCELoss和 Adam 优化器更新网络权重这就是经典的经验回放机制决策驱动训练训练反过来提升决策形成正循环。第六步记录指标验证学习效果每时隙顺手记下几组数据用于事后分析rate_his本时隙获得的最大加权计算速率rate_his_ratio与理论最优速率的比值越接近 1 说明 DROO 越接近最优这是最重要的性能指标k_idx_his/K_his记录被选中的模式序号和自适应 K 的变化轨迹。80% 训练与 20% 测试数据如何划分30000 个样本按 80:20 划分前 24000 个样本用于在线训练样本不足时通过取模循环复用后 6000 个样本用于测试评估 DROO 的泛化能力运行结束会打印测试集上的平均归一化计算速率通常在 0.9 以上就算表现优秀。如何读懂 DROO 的训练结果程序跑完会弹出两张图、生成五个 txt 文件 训练损失曲线整体应呈下降趋势说明网络在收敛归一化计算速率曲线会从早期的低谷逐渐爬升并趋于平稳文本文件包括 rate_his_ratio.txt、k_idx_his.txt、K_his.txt、cost_his.txt、mode_his.txt方便离线分析。如何亲手运行这趟旅程环境需要 Python、NumPy、SciPy以及 PyTorch 或 TensorFlow 二选一git clone https://gitcode.com/gh_mirrors/dr/DROO cd DROO python mainPyTorch.py # PyTorch 版本 python mainTF2.py # TensorFlow 2 版本想换场景很简单把N改成 20 或 30数据自动从 data/data_20.mat、data/data_30.mat 加载想看设备动态开关或权重交替的场景可以运行 demo_on_off.py 和 demo_alternate_weights.py。结语30000 个时隙说到底是感知信道 → 生成候选 → 评估奖励 → 记住最优 → 定期训练的循环往复。DROO 用这套简洁的主循环把组合爆炸的卸载决策问题变成了可在线学习的深度强化学习问题。读懂了这段循环你就掌握了 DROO 的全部精髓 。动手跑一次你会看到那条不断爬升的速率曲线——那正是强化学习越学越强最直观的证明。【免费下载链接】DROODeep Reinforcement Learning for Online Computation Offloading in Wireless Powered Mobile-Edge Computing Networks项目地址: https://gitcode.com/gh_mirrors/dr/DROO创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考