R³ 3D Reconstruction 下载与使用教程372M参数实现超长视频3D重建性能媲美1B模型关键词R3、R³、3D Reconstruction、Relative Regression、Depth Anything 3、视频三维重建、相机位姿估计、R3模型、Hugging Face、CV论文文章摘要近日R³R3: 3D Reconstruction via Relative Regression正式开源训练代码。它采用全新的 Relative Regression相对回归方案仅需372M参数即可完成超长视频三维重建、相机位姿估计以及稠密几何重建运行速度超过20FPS并支持数千帧视频处理。本文介绍R³的核心原理、模型特点、安装教程、模型下载及快速体验方法。大家好这里是**「代码简单说」**欢迎大家关注同名公众号不定时更新更多AI、编程和开发教程也欢迎大家在评论区一起讨论交流~~一、R³ 是什么R³R3: 3D Reconstruction via Relative Regression是一种最新的视频三维重建模型。项目地址https://github.com/KevinXu02/R3论文https://arxiv.org/abs/2605.26519项目主页https://kevinxu02.github.io/r3-site/传统的视频3D Reconstruction一般都会直接预测每一帧相机的位置每一帧旋转姿态深度信息随着视频越来越长这种方法容易累计误差。而R³采用了一种全新的思路不直接预测每一帧而是预测两帧之间的相对位姿Relative Pose。随后再通过优化算法将所有局部关系拼接成整个视频的全局轨迹。这种方案能够显著降低长视频中的误差累计。二、R³有哪些亮点相比近年来大量超过10亿参数的大模型R³更加轻量。官方数据项目R³模型大小372M 参数推理速度20 FPS支持视频长度数千帧内存占用固定Memory Budget是否支持流式处理支持虽然参数量只有很多SOTA模型的三分之一左右但是性能基本持平甚至部分任务还能超过现有方法。三、核心技术解析R³主要采用了两个核心设计。1、Relative Pose Regression相对位姿回归不同于直接预测世界坐标。R³预测的是Frame A ↓ Relative Pose ↓ Frame B包括Rotation旋转Translation平移最终再恢复整条视频的相机轨迹。这种方式对于长视频更加稳定。2、Confidence Weight置信度每一个相邻帧之间都会预测一个Confidence。它主要用于Loss加权Pose融合KeyFrame管理同时旋转和平移分别拥有自己的Confidence。因此整体鲁棒性更高。四、模型结构R³整体架构其实并不复杂。主要包括Video Frames │ ▼ Depth Anything 3 Backbone │ ▼ Pairwise Pose MLP │ ▼ Relative Camera Decoder │ ▼ Global Pose Assembly │ ▼ Dense Reconstruction其中最大的特点就是仅微调Cross-frame BackboneRelative Camera Decoder其它部分几乎保持不变。因此训练成本也比较低。五、模型下载官方提供了两个Checkpoint。Hugging Facehttps://huggingface.co/KevinXu02/R3下载后放到ckpt/ ├── r3.safetensors └── r3_long.safetensors官方推荐如下模型适用场景r3室内、小范围重建r3_long室外、大范围、长视频其中r3适合房间扫描小场景建模室内机器人r3_long适合无人机视频城市场景长距离轨迹六、环境安装官方推荐使用 Conda。condaenvcreate-fenvironment.yml conda activate r3 pipinstall-e.如果已经安装CUDA版本PyTorch也可以直接安装依赖。pipinstall-rrequirements.txt pipinstall-e.七、快速运行 Demo官方提供了Demo。运行python demo.py--seq_pathexamples/indoor--no_viewer程序会自动推理视频生成Depth输出Camera输出Confidence保存结果打开Viser查看器输出目录一般为scratch/demo/随后即可浏览整个三维重建结果。八、不同运行模式官方提供了多个Preset。快速测试python demo.py--modetest室内python demo.py--modelocal长视频python demo.py--modelong跨帧采样视频python demo.py--modestrided其中test主要用于功能验证Smoke Testlocal适合小范围室内环境long适合长轨迹城市街景大场景strided适合时间跨度较大的视频降低计算成本九、查看已有结果无需再次推理。直接运行python view.py--data_dirscratch/demo/run_name即可重新打开保存好的三维重建结果。十、R³相比传统方案有哪些优势目前很多三维重建模型都有几个共同问题参数巨大显存要求高长视频容易漂移推理速度慢R³则进行了针对性优化。主要优势包括相对位姿回归降低累计误差372M参数更轻量支持流式推理固定内存预算可处理数千帧视频推理速度超过20FPS与当前主流SOTA方法性能相当甚至更优对于机器人视觉、自动驾驶、AR/VR、数字孪生等场景都具有较高的应用价值。十一、项目依赖R³基于多个优秀开源项目构建包括Depth Anything 3DUSt3RCUT3RVGGT开发者也在README中向这些项目表示了感谢。总结R³R3: 3D Reconstruction via Relative Regression提出了一种基于**相对位姿回归Relative Pose Regression**的视频三维重建新思路。相比直接预测全局相机姿态它通过预测两帧之间的相对关系再进行全局轨迹组装有效降低了长视频中的累计误差。尽管模型仅有372M 参数却能够实现20 FPS的推理速度并支持数千帧视频的流式处理在相机位姿估计和稠密三维重建任务中达到或超过许多参数规模超过10亿的模型。如果你正在研究计算机视觉、机器人、SLAM 或三维重建方向R³是一个值得关注和尝试的开源项目。参考链接GitHubhttps://github.com/KevinXu02/R3项目主页https://kevinxu02.github.io/r3-site/Hugging Facehttps://huggingface.co/KevinXu02/R3论文https://arxiv.org/abs/2605.26519
R³ 3D Reconstruction 下载与使用教程372M参数实现超长视频3D重建性能媲美1B模型关键词R3、R³、3D Reconstruction、Relative Regression、Depth Anything 3、视频三维重建、相机位姿估计、R3模型、Hugging Face、CV论文文章摘要近日R³R3: 3D Reconstruction via Relative Regression正式开源训练代码。它采用全新的 Relative Regression相对回归方案仅需372M参数即可完成超长视频三维重建、相机位姿估计以及稠密几何重建运行速度超过20FPS并支持数千帧视频处理。本文介绍R³的核心原理、模型特点、安装教程、模型下载及快速体验方法。大家好这里是**「代码简单说」**欢迎大家关注同名公众号不定时更新更多AI、编程和开发教程也欢迎大家在评论区一起讨论交流~~一、R³ 是什么R³R3: 3D Reconstruction via Relative Regression是一种最新的视频三维重建模型。项目地址https://github.com/KevinXu02/R3论文https://arxiv.org/abs/2605.26519项目主页https://kevinxu02.github.io/r3-site/传统的视频3D Reconstruction一般都会直接预测每一帧相机的位置每一帧旋转姿态深度信息随着视频越来越长这种方法容易累计误差。而R³采用了一种全新的思路不直接预测每一帧而是预测两帧之间的相对位姿Relative Pose。随后再通过优化算法将所有局部关系拼接成整个视频的全局轨迹。这种方案能够显著降低长视频中的误差累计。二、R³有哪些亮点相比近年来大量超过10亿参数的大模型R³更加轻量。官方数据项目R³模型大小372M 参数推理速度20 FPS支持视频长度数千帧内存占用固定Memory Budget是否支持流式处理支持虽然参数量只有很多SOTA模型的三分之一左右但是性能基本持平甚至部分任务还能超过现有方法。三、核心技术解析R³主要采用了两个核心设计。1、Relative Pose Regression相对位姿回归不同于直接预测世界坐标。R³预测的是Frame A ↓ Relative Pose ↓ Frame B包括Rotation旋转Translation平移最终再恢复整条视频的相机轨迹。这种方式对于长视频更加稳定。2、Confidence Weight置信度每一个相邻帧之间都会预测一个Confidence。它主要用于Loss加权Pose融合KeyFrame管理同时旋转和平移分别拥有自己的Confidence。因此整体鲁棒性更高。四、模型结构R³整体架构其实并不复杂。主要包括Video Frames │ ▼ Depth Anything 3 Backbone │ ▼ Pairwise Pose MLP │ ▼ Relative Camera Decoder │ ▼ Global Pose Assembly │ ▼ Dense Reconstruction其中最大的特点就是仅微调Cross-frame BackboneRelative Camera Decoder其它部分几乎保持不变。因此训练成本也比较低。五、模型下载官方提供了两个Checkpoint。Hugging Facehttps://huggingface.co/KevinXu02/R3下载后放到ckpt/ ├── r3.safetensors └── r3_long.safetensors官方推荐如下模型适用场景r3室内、小范围重建r3_long室外、大范围、长视频其中r3适合房间扫描小场景建模室内机器人r3_long适合无人机视频城市场景长距离轨迹六、环境安装官方推荐使用 Conda。condaenvcreate-fenvironment.yml conda activate r3 pipinstall-e.如果已经安装CUDA版本PyTorch也可以直接安装依赖。pipinstall-rrequirements.txt pipinstall-e.七、快速运行 Demo官方提供了Demo。运行python demo.py--seq_pathexamples/indoor--no_viewer程序会自动推理视频生成Depth输出Camera输出Confidence保存结果打开Viser查看器输出目录一般为scratch/demo/随后即可浏览整个三维重建结果。八、不同运行模式官方提供了多个Preset。快速测试python demo.py--modetest室内python demo.py--modelocal长视频python demo.py--modelong跨帧采样视频python demo.py--modestrided其中test主要用于功能验证Smoke Testlocal适合小范围室内环境long适合长轨迹城市街景大场景strided适合时间跨度较大的视频降低计算成本九、查看已有结果无需再次推理。直接运行python view.py--data_dirscratch/demo/run_name即可重新打开保存好的三维重建结果。十、R³相比传统方案有哪些优势目前很多三维重建模型都有几个共同问题参数巨大显存要求高长视频容易漂移推理速度慢R³则进行了针对性优化。主要优势包括相对位姿回归降低累计误差372M参数更轻量支持流式推理固定内存预算可处理数千帧视频推理速度超过20FPS与当前主流SOTA方法性能相当甚至更优对于机器人视觉、自动驾驶、AR/VR、数字孪生等场景都具有较高的应用价值。十一、项目依赖R³基于多个优秀开源项目构建包括Depth Anything 3DUSt3RCUT3RVGGT开发者也在README中向这些项目表示了感谢。总结R³R3: 3D Reconstruction via Relative Regression提出了一种基于**相对位姿回归Relative Pose Regression**的视频三维重建新思路。相比直接预测全局相机姿态它通过预测两帧之间的相对关系再进行全局轨迹组装有效降低了长视频中的累计误差。尽管模型仅有372M 参数却能够实现20 FPS的推理速度并支持数千帧视频的流式处理在相机位姿估计和稠密三维重建任务中达到或超过许多参数规模超过10亿的模型。如果你正在研究计算机视觉、机器人、SLAM 或三维重建方向R³是一个值得关注和尝试的开源项目。参考链接GitHubhttps://github.com/KevinXu02/R3项目主页https://kevinxu02.github.io/r3-site/Hugging Facehttps://huggingface.co/KevinXu02/R3论文https://arxiv.org/abs/2605.26519
![如何在Excel中实现无代码计算机视觉：5个简单步骤开启视觉分析之旅 [特殊字符]](http://pic.xiahunao.cn/yaotu/如何在Excel中实现无代码计算机视觉：5个简单步骤开启视觉分析之旅 [特殊字符])
![[C++]内存管理：串顺序存储的内存回收](http://pic.xiahunao.cn/yaotu/[C++]内存管理：串顺序存储的内存回收)
