内置SfMAI遮罩视频抽帧Spirula Studio如何把COLMAP时代拉入快车道【免费下载链接】spirula-studioCross-vendor 3D Gaussian Splatting trainer - video to splat to mesh, Vulkan or CUDA.项目地址: https://gitcode.com/GitHub_Trending/sp/spirula-studioSpirula Studio 是一款跨厂商的 3D Gaussian Splatting3DGS训练工具通过内置 SfM 重建、AI 智能遮罩和视频抽帧三大能力把原始视频 → splat → 带纹理网格的完整流程压缩进一个自包含的二进制文件中。无需 Python、无需 PyTorch、无需单独安装 COLMAPNVIDIA、AMD、Intel 甚至 Apple Silicon 显卡都能通过 Vulkan 直接训练。为什么传统 3DGS 工作流让人疲惫如果你是刚从 NeRF / 3DGS 入门的新手大概率经历过这样的链路装好 Python 环境和 PyTorch再装一个 COLMAP跑特征提取与稀疏重建等待动辄数小时用脚本从视频抽帧、做 AI 遮罩又要一套 CUDA 版 PyTorch最后才轮到真正的 splat 训练。每一步都是独立的依赖地狱。Spirula Studio 的思路是一个二进制吃下全流程抽帧、遮罩、SfM、训练、网格化全部内建而且全部跑在同一张 GPU 上。一条流水线视频 → Splat → Mesh从上图的 GUI 可以看出整个数据集准备Dataset Prep就是一个面板选择输入视频或照片文件夹 → 配置抽帧与遮罩 → 点一下Recon跑 SfM → 直接开始训练。核心调度逻辑位于 src/app/gui/DatasetPrep.h它的注释写得很直白这是用户选了一个视频到SfM 可用的图像目录外加遮罩目录之间的所有事情。内置 SfM更快且兼容 COLMAP 格式SfM 模块位于 src/sfm/设计目标是彻底取代调用 COLMAP 子进程。几个值得新手留意的点零重型依赖只依赖 Vulkan、Slang 和 C17没有 Ceres、OpenCV、SQLite也没有 PyTorch详见 src/sfm/README.mdGPU 加速SIFT 特征提取、描述符匹配、两视图验证全部用 Slang 计算着色器跑在 GPU 上格式兼容每个阶段都读写 COLMAP 的sparse/磁盘格式可以和真正的 COLMAP 互相替换、交叉验证难场景增强支持 ALIKED LightGlue、LoMa 等学习型特征前端视频序列有回路闭合loop closure与顺序感知注册能正确处理螺旋楼梯、重复结构这类传统增量式重建会折叠的场景量测数据恢复真实尺度直接读取 Insta360 / GoPro / DJI 视频中的 IMU 与 GPS 遥测把重建恢复到米制尺度见 docs/notes/imu-gps-for-sfm.md。命令行体验也很友好spirula sfm auto IMAGES/ -o WORKSPACE/ # 图片 - 稀疏模型 spirula sfm auto IMAGES/ -o ws/ --data-type video # 视频序列预设AI 遮罩SAM 2 / SAM 3 直接跑在你的 GPU 上遮罩模块位于 src/sam/把 Meta 的 SAM 2 / SAM 2.1 / SAM 3 模型移植到了内置的 Vulkan 推理层 src/nn/ 上取代了原来需要外挂 Python PyTorch 的遮罩脚本文字提示--text person; car多短语用分号分隔自动求并集还支持负向提示点击交互左键标记目标、右键标记排除每个对象独立跟踪视频全程传播SAM 2 模型只支持点击没有文字塔先试后跑GUI 的遮罩预览面板src/app/gui/SegmentPanel.h让你在提交整段重建之前花约 1 秒在真实帧上验证提示词效果显存友好模型用完即卸不会和后续训练抢显存。视频抽帧告别 ffmpeg 依赖视频解码模块位于 src/video/基于VK_KHR_video_decode_*直接调用 GPU 硬件解码器快约 15 倍一段 127 秒的 1080p 视频10 秒左右完成抽帧还免去了安装 ffmpeg 的麻烦清晰度选帧按清晰度窗口自动挑选每段最清晰的帧只解码和转换真正保留的像素360° 原生支持Insta360 的.insv多轨文件会自动按镜头拆分成 rig配合 SfM 的--rig dual-fisheye约束重建全景相机见 src/sfm/README.md 的 Rigs 章节帧号可寻址帧号来自容器的呈现顺序支持按关键帧快速跳转GUI 的帧滑条因此能在 15 分钟长视频里秒级拖动。 注意GPU 解码 H.264/H.265/AV1 的比特流解析器涉及第三方专利因此该功能以编译选项-DSS_ENABLE_PATENTEDON控制、默认关闭关闭时自动回退到外部 ffmpegGUI 会明确提示。快速上手安装与常用命令从 Releases 页面下载对应平台的二进制即可双击运行 GUI从源码构建只需两步git clone https://gitcode.com/GitHub_Trending/sp/spirula-studio cd spirula-studio bash build_develop.bash -DSS_BACKENDvulkan -DSS_ENABLE_PATENTEDON # Linux / macOS # Windows: .\build_develop.bat -DSS_BACKENDvulkan -DSS_ENABLE_PATENTEDON产物为build_vulkan/spirulaWindows 下为spirula.exe。常用子命令命令作用spirula sfm auto内置 SfM 稀疏重建spirula sam extract抽帧 AI 遮罩一体spirula sam track对帧序列做视频遮罩跟踪spirula train训练 3DGS默认附带 Web 预览spirula meshsplat 转带纹理网格项目结构速览路径说明src/sfm/内置 SfM 流水线Vulkan 计算 Slang 着色器src/sam/SAM 2 / SAM 3 分割与视频跟踪src/video/无 ffmpeg 的 GPU 视频解码/编码src/nn/通用 Vulkan 推理层张量、算子src/engine/3DGS 训练引擎src/mesh/splat 网格化Delaunay 光栅化docs/datasets.md数据集格式与遮罩规则说明总结快车道上的三个关键Spirula Studio 把 COLMAP 时代的三个等待环节全部收编进同一张 GPU内置 SfM—— 免安装、GPU 加速输出仍是 COLMAP 兼容格式老数据无缝复用AI 遮罩—— SAM 2/3 原生推理文字或点击提示逐帧视频跟踪视频抽帧—— GPU 硬件解码快约 15 倍360° 多轨文件开箱即用。对新手而言这意味着从一段手机视频到可交互的 3D 场景中间不再需要串联四个工具和两套 Python 环境。【免费下载链接】spirula-studioCross-vendor 3D Gaussian Splatting trainer - video to splat to mesh, Vulkan or CUDA.项目地址: https://gitcode.com/GitHub_Trending/sp/spirula-studio创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考