StreamPETR训练完全教程：从数据预处理到模型调优-拓冰建站

StreamPETR训练完全教程：从数据预处理到模型调优

【免费下载链接】StreamPETR[ICCV 2023] StreamPETR: Exploring Object-Centric Temporal Modeling for Efficient Multi-View 3D Object Detection项目地址: https://gitcode.com/gh_mirrors/st/StreamPETR

StreamPETR是一个基于ICCV 2023研究成果的高效多视图3D目标检测框架，专注于探索以对象为中心的时间建模技术。本教程将帮助你从零开始完成StreamPETR的训练流程，包括环境配置、数据准备、模型训练与评估等关键步骤，让你快速掌握这一先进3D检测工具的使用方法。

一、环境准备：快速搭建训练环境

在开始训练前，需要先配置好StreamPETR的运行环境。建议使用Linux系统，确保已安装Python 3.8+和PyTorch 1.9+等基础依赖。

1.1 克隆项目代码

首先通过以下命令克隆StreamPETR项目仓库：

git clone https://gitcode.com/gh_mirrors/st/StreamPETR cd StreamPETR

1.2 安装依赖

项目依赖可通过官方提供的requirements.txt文件安装，具体步骤可参考docs/setup.md文档。主要依赖包括MMDetection3D、PyTorch Lightning等计算机视觉库。

二、数据准备：构建高质量训练数据集

StreamPETR主要基于nuScenes数据集进行训练，数据准备分为数据集下载和预处理两个关键步骤。

2.1 下载nuScenes数据集

访问nuScenes官网下载完整数据集，并将其解压到./data/nuscenes目录下。数据集包含传感器数据、标注信息和地图数据等，总大小约1.5TB，建议确保有足够的存储空间。

2.2 生成训练信息文件

使用项目提供的工具生成包含2D标注和时间信息的训练文件：

python tools/create_data_nusc.py --root-path ./data/nuscenes --out-dir ./data/nuscenes --extra-tag nuscenes2d --version v1.0

执行后将生成nuscenes2d_temporal_infos_train.pkl和nuscenes2d_temporal_infos_val.pkl文件，用于模型训练和验证。若不想自行生成，也可下载项目提供的预处理文件（详见docs/data_preparation.md）。

2.3 准备预训练权重

创建ckpts目录并下载预训练权重：

mkdir ckpts # 下载V2-99预训练权重示例 wget https://github.com/exiawsh/storage/releases/download/v1.0/fcos3d_vovnet_imgbackbone-remapped.pth -P ckpts/

不同模型配置需要不同的预训练权重，详细列表可参考docs/data_preparation.md。

2.4 目录结构验证

完成数据准备后，确保目录结构如下：

StreamPETR ├── data/ │ ├── nuscenes/ │ │ ├── samples/ # 传感器数据 │ │ ├── sweeps/ # 连续帧数据 │ │ ├── v1.0-trainval/ # 标注文件 │ │ ├── nuscenes2d_temporal_infos_train.pkl # 训练信息 │ │ └── nuscenes2d_temporal_infos_val.pkl # 验证信息 └── ckpts/ # 预训练权重

三、模型训练：掌握高效训练技巧

StreamPETR提供了多种训练配置，支持滑动窗口和流视频两种训练方式，可根据硬件条件选择合适的方案。

3.1 基础训练命令

使用分布式训练脚本启动训练：

tools/dist_train.sh projects/configs/StreamPETR/stream_petr_r50_flash_704_bs2_seq_24e.py 8 --work-dir work_dirs/stream_petr_r50_flash_704_bs2_seq_24e/

stream_petr_r50_flash_704_bs2_seq_24e.py：流视频训练配置文件
8：使用8张GPU
--work-dir：指定训练日志和模型保存路径

3.2 训练配置选择

项目提供了多种预设配置，位于projects/configs/StreamPETR/目录下，主要区别如下：

滑动窗口训练：如stream_petr_r50_flash_704_bs1_8key_2grad_24e.py，精度更高但显存消耗大
流视频训练：如stream_petr_r50_flash_704_bs2_seq_24e.py，训练速度快4倍，适合快速验证

3.3 关键训练技巧

根据官方实验总结的优化技巧（详见docs/training_inference.md），以下方法可提升模型性能：

调整学习率：根据GPU数量和批次大小调整，8卡建议设为2e-4
修改损失权重：将边界框回归的x,y权重从1.0调整为2.0
启用Sync-BN：对于小模型可提升稳定性，需在配置中设置SyncBN=True
优化Transformer参数：减小前馈通道数（如512）可提升推理速度

StreamPETR框架流程图：展示了历史记忆队列、传播Transformer和前景对象提取的核心流程，体现了以对象为中心的时间建模优势。

四、模型评估：全面验证检测性能

训练完成后，需通过评估验证模型性能，主要关注mAP（平均精度）和NDS（平均归一化检测分数）指标。

4.1 检测性能评估

使用分布式测试脚本评估模型：

tools/dist_test.sh projects/configs/StreamPETR/stream_petr_vov_flash_800_bs2_seq_24e.py work_dirs/stream_petr_vov_flash_800_bs2_seq_24e/latest.pth 8 --eval bbox

latest.pth：训练保存的最新模型权重
--eval bbox：评估3D检测性能

4.2 跟踪性能评估

若需评估多目标跟踪性能，执行：

python nusc_tracking/pub_test --version v1.0-trainval --checkpoint {PATH_RESULTS.JSON} --data_root {PATH_NUSCENES}

4.3 性能对比参考

根据官方测试结果，StreamPETR在nuScenes数据集上的性能如下： | 模型 | 配置 | mAP | NDS | |------|------|-----|-----| | StreamPETR | R50-900q | 37.5 | 47.6 |

StreamPETR性能对比图：展示了在mAP（平均精度）和FPS（每秒帧率）上与其他3D检测方法的对比，StreamPETR在保持高精度的同时具有优异的实时性能。

五、模型调优：进阶优化策略

针对不同应用场景，可通过以下方法进一步优化模型性能或速度。

5.1 推理速度优化

使用基准测试工具评估并优化推理速度：

python tools/benchmark.py projects/configs/test_speed/stream_petr_r50_704_bs2_seq_428q_nui_speed_test.py

优化建议：

启用Flash Attention（需硬件支持）
减小Transformer前馈通道数
调整查询数量（如300+128查询在长训练周期下性能接近644+256）

5.2 可视化结果分析

通过可视化工具分析检测结果，辅助调优：

# 生成结果文件 ./tools/dist_test.sh projects/configs/StreamPETR/stream_petr_vov_flash_800_bs2_seq_24e.py work_dirs/stream_petr_vov_flash_800_bs2_seq_24e/latest.pth 8 --format-only # 可视化3D检测结果 python3 tools/visualize.py

需在visualize.py中修改结果文件路径。