ARTICLE DETAIL

建站实战干货

来自一线的建站与推广经验沉淀,每一条都经过真实交付验证。

双目高斯算法

2026/9/6 4:57:40 拓冰建站 浏览量
双目高斯算法 有而且真正使用同步左右目、同时构建 Gaussian 地图的算法已经出现了。不过要特别区分实时跟踪相机位姿能否跟上输入在线建图Gaussian 是否边采集边更新实时渲染已经生成的 Gaussian 地图能否高速显示。很多论文只做到第三项不能算实时 Gaussian SLAM。结合你现在的 ZED 2i、4×RTX 4090 和水下应用我建议优先看下面几种。推荐排序方法真双目在线 3DGS实时性代码推荐程度Photo-SLAM是是强已公开最适合先落地LSG-SLAM是是面向大场景已公开适合户外研究BGS-SLAM是是论文称可用未确认完整代码值得跟踪Stereo-GS Online Mapping是是论文称实时代码成熟度不明可参考架构AERGS-SLAM是是实时目标有项目代码线索适合曝光变化研究MonoGS支持双目是约 3 FPS 级别已公开不满足实时优先Splatt3R-SLAM否当前是单目时序是本机约 6–8 FPS当前已有不是真双目方案1. Photo-SLAM最推荐Photo-SLAM 全名是 “Real-time Simultaneous Localization and Photorealistic Mapping for Monocular, Stereo, and RGB-D Cameras”。它原生支持单目双目RGB-D室内和室外场景回环检测3D Gaussian 在线建图。系统结构非常适合工程落地同步左右图 ↓ ORB-SLAM3 Stereo ├── 双目特征匹配 ├── 米制深度 ├── 实时位姿 └── 回环与全局优化 ↓ 关键帧 地图点 ↓ Hyper Primitives ↓ Gaussian Pyramid 在线优化 ↓ 可实时渲染的 3DGS 地图它使用 ORB-SLAM3 做定位把定位和 Gaussian 建图适度解耦。因此即使 Gaussian 优化暂时变慢也不容易直接拖垮相机跟踪。工程方面也比较友好主体为 C/CUDA论文在 RTX 4090 上测试官方实验明确包含 ZED 2 双目相机采集的室外数据不需要用大型 Transformer 对每帧进行两视图推理相比你当前 Splatt3R-SLAM更容易做到稳定实时双目基线可直接提供米制尺度。论文与官方实现Photo-SLAM 论文。它最适合你的第一阶段目标ZED 2i 左右目负责实时米制定位Gaussian 建图线程负责生成可视化地图。主要问题是现有代码大概率基于较老的 Ubuntu、CUDA、PyTorch/LibTorch 和 ORB-SLAM3 依赖。本机是 Ubuntu 26.04 CUDA 13.3移植可能需要处理编译兼容性。2. LSG-SLAM大规模户外优先LSG-SLAM 是 ICRA 2025 的双目 Gaussian SLAM重点解决大范围室外环境双目图像 ↓ 多模态先验位姿估计 ↓ 特征对齐 光度约束跟踪 ↓ 连续 Gaussian 子地图 ↓ 地点识别与子地图回环 ↓ 位姿图和 Gaussian 结构优化它的特点是真正使用双目面向 KITTI、EuRoC 等数据用连续 Gaussian 子地图控制大场景显存支持子地图级回环针对大视角变化加入特征对齐约束官方代码已经公开。项目主页、官方代码。但它目前更像研究代码不是即插即用的实时 ZED 应用。官方流程还要求预先生成深度图和全局特征而且前端、回环、后端优化需要分别运行。因此论文虽然是 SLAM 系统公开实现未必能直接做到“接上 ZED 就实时输出”。比较适合作为大范围水下航行的子地图设计参考Gaussian 地图内存管理参考回环后结构修正研究基线。3. BGS-SLAM专门的双目室外 3DGS-SLAMBGS-SLAM 自称首个面向室外城市环境的 binocular 3DGS-SLAM左右 RGB ↓ 预训练深度立体网络 ↓ 双目度量深度 ↓ 相机跟踪 ↓ 多损失 Gaussian 优化它不依赖 LiDAR 或主动深度传感器使用深度立体网络给 Gaussian 提供几何约束目标与 ZED 双目比较匹配。BGS-SLAM 论文。优势真双目有绝对尺度面向室外大场景深度网络可能比传统立体匹配更适应弱纹理。不足比 Photo-SLAM 更新、更偏研究没有找到同样成熟明确的官方开源实现深度网络可能成为实时瓶颈水下色偏、散射和悬浮物可能严重影响预训练双目网络。目前更适合阅读和复现研究不适合作为第一套生产基线。4. Stereo-GS双目 DROID-SLAM 在线 Gaussian2025 年发表的 Stereo-GS 使用比较直接的架构校正后的双目图像 ↓ Stereo DROID-SLAM ├── 相机轨迹 └── 初始低分辨率深度 ↓ FoundationStereo ↓ 高质量米制深度 ↓ 只在新观测区域初始化 Gaussian ↓ 在线 Gaussian 优化它明确针对流式双目图像和在线 3DGS 建图并通过“只在未探索区域创建 Gaussian”控制数量和运算量。Stereo-GS 论文。它的思路值得借鉴但我暂时不会优先推荐直接部署完整官方代码和复现生态不如 Photo-SLAM 清晰DROID-SLAM 加 FoundationStereo 的 GPU 开销不低“实时”可能依赖分辨率、关键帧率和 Gaussian 优化频率对 CUDA 13 的兼容性需要单独确认。5. AERGS-SLAM适合曝光剧烈变化AERGS-SLAM 是更新的双目 3DGS-SLAM重点解决自动曝光造成的光度不一致双目输入定位和 Gaussian 建图解耦使用对曝光较稳健的特征定位用曝光网络将场景辐射与相机曝光过程分离针对真实相机亮度变化设计。这对水下人工照明非常有意义因为水下场景常出现灯光距离变化自动曝光波动暗角不同方向的颜色衰减局部强反射。AERGS-SLAM 论文。但它比较新现阶段更适合作为 Photo-SLAM 后续升级方向而不是第一套要跑通的系统。对你现有设备的建议如果目标是“ZED 2i 真双目 尽量实时 Gaussian 地图”我建议路线是第一选择Photo-SLAM ↓ 先用 EuRoC 官方双目数据跑通 ↓ 接入 ZED 2i 校正后的左右图 ↓ 陆上测试实时轨迹和 Gaussian 地图 ↓ 再做防水舱后的水下双目标定 ↓ 加入图像增强或曝光建模不要一开始就改造 Splatt3R-SLAM 成双目。因为它的 Transformer 前端本身已经把速度压到约 6–8 FPS再加入同步左右目、双目约束和两路 Gaussian很难迅速达到 15–30 FPS。如果更关注定位稳定和工程可靠性可以采用解耦结构ZED 2i 左右目 ↓ ORB-SLAM3 Stereo / Photo-SLAM Tracking ↓ 15–30 Hz 米制位姿 实时控制与导航 │ └── 关键帧 双目深度 ↓ 独立 GPU 进行 3DGS Mapping ↓ 较低频率更新可视化地图这比要求“跟踪和 Gaussian 优化都必须每帧完成”更实际。你的机器有四张 RTX 4090可以把定位、双目深度、Gaussian 建图和离线精修分别放到不同 GPU。最终建议先试 Photo-SLAM它是目前与你的 ZED 2i、实时双目定位和在线 Gaussian 建图需求匹配度最高、公开实现也相对完整的方案LSG-SLAM作为大场景研究对照AERGS-SLAM作为后续水下曝光鲁棒性升级方向。