如何在autoDL上进行断点续训-5090显卡

一、断点续训理由

autoDL平台非常方便，缺乏算力可直接在上面租用GPU实例，但是可能会遇到一种非常头疼的情况，就是比如说WIFI信号断了或者你想将电脑连接手机热点，这个时候它一定会从云端的SSH链接掉为本地环境的bash连接，如下图所示。

断网是不可控因素，因为我已经断网好几次了，而且还是在不知情的情况下。这个时候其实后台还是在运行，只不过你看不见，但是有的小伙伴可能会慌，就想如何才能可视化训练过程，毕竟看不见心里没底。

二、具体做法

咱们以WIFI信号断掉接手机热点为例。

1、首先连接手机热点，打开pycharm终端，连接SSH信号，连接好以后会出现相关信息。

2、激活你在autoDL上的环境，我的是mamba_yolo，大家选择自己的环境激活

conda activate mamba_yolo

成功后的截图如下，前面有环境标识

3、进入到训练train脚本文件夹内，一定是要包含你的train训练脚本的文件夹才行！

cd /root/autodl-tmp/***

4、查看是否在后台运行，查看训练脚本是否正确，准备掐断PID

nvidia-smi ps -fp 你自己的PID号，下图有示例

5、断掉之前的进程，断掉后终端没有反应是True还是其他，这个不用管，直接准备开始断点续训

kill -9 8811（8811是我的PID号，这个得换成自己的才行）

6、断点续训命令。记住两点：（1）权重必须是last.pt，如果是best权重，可能会导致重新训练。（2）model前必须得是resume命令。

yolo detect train resume model=/root/autodl-tmp/自己训练后保存的项目名称路径/weights/last.pt

三、其他小建议

由于在pycharm的训练保存项目路径比较迟钝，因此，建议查找自己last路径时，可以进入到JupyterLab这里进行查找，它的同步速度非常快。一般来讲，在pycahrm找不到的项目文件在这里都会找到，但是不能直接复制JupyterLab的路径，JupyterLab路径和二中的第 6 步是有区别的，在JupyterLab中找到训练文件名称叫什么即可。

感谢大家观看，如果对上述说明有问题的话欢迎大家评论留言，整理不易，麻烦大家点个赞点个关注，之后有相关的深度学习问题我会持续更新，谢谢大家。