单目深度估计从卡壳到毫秒级Depth Anything V2 完整上手指南【免费下载链接】Depth-Anything-V2[NeurIPS 2024] Depth Anything V2. A More Capable Foundation Model for Monocular Depth Estimation项目地址: https://gitcode.com/gh_mirrors/de/Depth-Anything-V2如果你做过机器人、AR/VR 或自动驾驶相关的开发大概率遇到过这样的场景想让机器从一张普通照片里看出远近关系也就是单目深度估计。听起来简单真做起来却处处是坑——模型在测试集上表现惊艳一换真实场景就翻车。本文要介绍的 Depth Anything V2NeurIPS 2024 工作正是为解决这类问题而生的开源项目它用 25M 参数的小模型做到 60ms 级别推理同时把泛化能力拉到行业新高度。接下来我会用三步读懂 → 动手实践 → 场景延伸 → 选型避坑的路线带你一次性掌握这个项目。故事开场一位工程师的三天噩梦先讲个真实发生过的故事。有位做园区巡检机器人的工程师想把深度感知模块从室内搬到室外。他选了一个之前表现不错的开源模型结果在园区里一跑就崩阳光下的玻璃幕墙被当成无底洞雨后的积水反光让深度图变成一团噪点甚至有一段围墙上贴的卡通宣传画直接把模型的深度输出干成了纸片人。他折腾了三天换输入尺寸、调归一化参数、试了四五种后处理……全都没用。最后他换上了 Depth Anything V2 的 Small 模型三行代码加载权重居然一次跑通。玻璃、反光、非真实场景全都稳住了。这个故事里藏着一个核心问题深度模型在没见过的场景里靠不靠谱大多数模型死在泛化上而 Depth Anything V2 恰恰把泛化能力当作第一设计目标。下面我们用三个递进的问题把它的原理拆开看。它到底在解决什么问题单目深度估计的任务一句话就能说清给定一张 2D 照片为每个像素预测一个深度值输出一张和原图等大的深度图越近越亮或越暖色。但一句话说清和真正做好之间隔着三座大山泛化之山模型在真实照片上训练遇到动漫、线稿、航拍、水下、透明玻璃等非主流输入时特征分布完全错位深度图直接失真。细节之山细杆、车轮辐条、物体边缘这类高频细节传统模型常常糊成一团深度的轮廓感很差。速度之山扩散模型Diffusion-based精度不错但单张图要好几秒根本无法用于实时系统。Depth Anything V2 的思路很直接既然这三点都卡脖子那就把能扛住多样场景 细节细腻 足够快同时做到。它的底气来自两个部件——强大的特征提取器和高效的深度解码器。凭什么又快又准拆开引擎盖看两眼整个模型的结构可以压缩成一句大白话先让看过世间万物的视觉骨干把图片理解成多层次的抽象特征再让一个解码器把这些特征翻译成逐像素的深度图。眼睛DINOv2 视觉骨干项目没有从零训练特征提取器而是直接复用了 Meta 的 DINOv2一个在大规模无标注数据上自监督训练出来的视觉基础模型。这一步很聪明——DINOv2 相当于一个见多识广的实习生它已经见过海量风格各异的图片所以对陌生场景天然有免疫力。源码里四档模型对应四种视力配置见depth_anything_v2/dpt.py中的配置表model_configs { vits: {encoder: vits, features: 64, out_channels: [48, 96, 192, 384]}, vitb: {encoder: vitb, features: 128, out_channels: [96, 192, 384, 768]}, vitl: {encoder: vitl, features: 256, out_channels: [256, 512, 1024, 1024]}, vitg: {encoder: vitg, features: 384, out_channels: [1536, 1536, 1536, 1536]}, }out_channels是从骨干不同深度取出的四组特征通道数对应四个分辨率层级。值得注意的是V2 提取的是 DINOv2 的中间层特征intermediate_layer_idx而不是 V1 时代顺手用了最后四层的做法——虽然官方说这一改动对精度提升不大但它更符合计算机视觉领域的主流实践。手DPT 解码器做多尺度融合深层特征看得懂但分辨率低浅层特征分辨率高但语义弱。DPTDense Prediction Transformer解码器的活儿就是把这些粗细不一的特征像拼乐高一样逐级融合最后还原出和原图同分辨率的深度图。关键路径在dpt.py的DPTHead.forward里四路特征先各自做投影和尺寸对齐再经refinenet1~4自下而上逐层refine精修最终经两段卷积输出单通道深度。调用起来极其轻量官方 README 的核心代码就这几行import cv2, torch from depth_anything_v2.dpt import DepthAnythingV2 DEVICE cuda if torch.cuda.is_available() else cpu encoder vitl model DepthAnythingV2(**model_configs[encoder]) model.load_state_dict(torch.load(fcheckpoints/depth_anything_v2_{encoder}.pth, map_locationcpu)) model model.to(DEVICE).eval() raw_img cv2.imread(your/image/path) depth model.infer_image(raw_img) # 返回 HxW 的 numpy 深度图infer_image内部会自动完成缩放到 518 尺寸14 的整数倍适配 patch 网格→ 归一化 → 前向推理 → 把深度图插值回原始分辨率。也就是说你只需要喂一张图拿回一张图中间全是封装好的。和上一代及扩散方案比赢面在哪里光说架构容易纸上谈兵直接看数据最有说服力。官方 teaser 图同时对比了与扩散类方案Marigold、DepthFM的延迟和精度上方五组场景桥梁、室内、动漫、插画、花草的深度图直观展示了细节还原能力下方柱状图则给出硬指标模型参数量推理延迟(V100)相对深度准确率Marigold (LCM)948M约 5.2s86.8%DepthFM891M约 2.1s85.8%Depth Anything V2-Large335.3M约 213ms97.1%Depth Anything V2-Small24.8M约 60ms95.3%三个结论一目了然速度差了一个数量级扩散方案还在秒级V2 已经进入毫秒级Small 模型更是 60ms 一帧足以支撑实时应用。参数更少精度反超Large 只有 Marigold 的三分之一参数准确率却高出约 10 个百分点。小模型不拉胯Small 以 Marigold 2.6% 的参数量把准确率维持在 95% 以上——这意味着边缘设备也能获得接近顶配的体验。数据来源项目仓库assets/teaser.png官方效果图动手实践10 分钟跑通第一张深度图理论讲完直接上手。整个流程只需四步第 1 步拉代码装依赖git clone https://gitcode.com/gh_mirrors/de/Depth-Anything-V2 cd Depth-Anything-V2 pip install -r requirements.txt第 2 步下载权重。把.pth权重文件放进项目根目录的checkpoints/文件夹命名要和加载代码一致例如depth_anything_v2_vits.pth。官方提供 vits24.8M、vitb97.5M、vitl335.3M、vitg1.3B四档。第 3 步跑一张图。用仓库自带的示例图试试手python run.py --encoder vitl --img-path assets/examples --outdir depth_vis命令跑完后depth_vis/里会出现一组左右拼接的 PNG左边是原图右边是彩色深度图Spectral 色带暖色近、冷色远。比如这张城市街道示例就是测试复杂室外场景的好素材常用参数再补几个参数作用提示--input-size推理分辨率默认 518调大到 1024 细节更好显存消耗同步上升--pred-only只保存深度图不拼原图适合直接对接下游程序--grayscale输出灰度深度图更接近原始深度的观感--img-path可传单图、目录或 txt 路径清单目录模式自动递归扫描第 4 步跑视频。run_video.py用法几乎一样python run_video.py --encoder vitl --video-path assets/examples_video/basketball.mp4 --outdir video_depth_vis它会逐帧推理并合成一个原图 深度的 mp4。官方 README 特别提醒视频场景下越大规模的模型时序一致性越好追求稳定输出优先选 Large。进阶玩法让深度带上单位到这里为止模型输出的是相对深度——能看出远近关系但没有物理单位。如果你要测距、建点云、做尺寸测量就需要度量深度估计。项目在metric_depth/子目录里单独提供了方案室内模型用 Hypersim 合成数据微调max_depth 20米室外模型用 Virtual KITTI 2 微调max_depth 80米调用时只比前面多传一个max_depth参数from depth_anything_v2.dpt import DepthAnythingV2 encoder vitl dataset hypersim # 室内用 hypersim室外用 vkitti max_depth 20 # 室内 20 米室外 80 米 model DepthAnythingV2(**{**model_configs[encoder], max_depth: max_depth}) model.load_state_dict(torch.load(fcheckpoints/depth_anything_v2_metric_{dataset}_{encoder}.pth, map_locationcpu)) depth_meters model.infer_image(raw_img) # 单位是米和经典的度量深度模型 ZoeDepth 相比V2 在结构复杂和透明反射场景下的分层明显更干净官方对比图长这样拿到以米为单位的深度图后还能一步生成 3D 点云用仓库自带的脚本python metric_depth/depth_to_pointcloud.py \ --encoder vitl \ --load-from checkpoints/depth_anything_v2_metric_hypersim_vitl.pth \ --max-depth 20 \ --img-path assets/examples/demo10.jpg \ --outdir pointcloud_outputdemo10 这类带玻璃餐桌、窗外景色的室内图正好能考验模型对透明材质的度量能力。跑完你会得到一个.ply点云文件拖进任何点云查看器即可预览。泛化能力从哪来DA-2K 基准的启示你可能好奇前面故事里的玻璃、反光、卡通画V2 凭什么都扛得住答案藏在它的评测基准 DA-2K 里。这个基准刻意覆盖了八类刁钻场景室内约 20%、室外约 20%、不良风格约 16%、非真实场景约 15%、透明反射约 10%、航拍约 9%、物体约 7%、水下约 6%。1K 张高质量图片配 2K 组点对相对深度标注标注流程采用多模型投票 分歧时人工介入的策略保证质量详见DA-2K.md。这个基准带来的实际价值是它把哪些场景我测过、做到什么水平明明白白摆出来。选型时照着这八类对照自己的业务场景就能预估模型在你手里的表现而不是赌运气。选型与避坑四档模型怎么挑五个坑怎么绕选型决策表场景推荐档位理由手机/边缘设备实时推理vits (24.8M)60ms 级延迟内存友好桌面应用、精度与速度均衡vitb (97.5M)性价比最高工业级应用、视频处理vitl (335.3M)细节与时序稳定性最佳学术研究、极致精度vitg (1.3B)但权重尚未正式开放选型决策可以浓缩成一句话先用 vits 把整条链路跑通再根据哪里不满意升配——细节不够升 vitl只是速度不够则优化输入尺寸和批处理而不是无脑上大模型。避坑清单权重路径对不上加载代码默认读checkpoints/depth_anything_v2_{encoder}.pth文件名、目录名、encoder 三处必须一致否则直接 FileNotFoundError。显存爆了优先降--input-size518 → 384或换小一档模型批处理时从 batch1 起步逐步加。视频闪烁小模型逐帧推理会出现深度抖动官方建议视频场景直接用 Large 起步。细节不够锐利把--input-size提高到 1024深度图边缘会更干净代价是推理变慢、显存翻倍。商用授权注意vits 是 Apache-2.0 可自由商用vitb/vitl/vitg 为 CC-BY-NC-4.0非商用协议商业产品落地前务必先确认授权方案。另外提醒一点若通过 Hugging Face Transformers 加载官方说明其与 OpenCV 预处理的上采样方式略有差异预测结果会有些许不同追求与官方完全一致的结果建议按仓库方式直接加载.pth权重。写在最后下一步就动手Depth Anything V2 真正值得称道的地方不是某一个数字而是它把单目深度估计的不可能三角快、准、泛化第一次同时拉到了可用线之上——扩散方案降级成了追求极致精度的重武器而 V2 成了实时系统里的日常标配。加上 DA-2K 基准的公开这个领域从此有了可以横向对照的标尺。给你的行动建议很具体用vits 官方示例图跑通run.py确认环境无误换成你自己的业务图片对照 DA-2K 的八类场景找短板按细节不足升档位、速度不足降分辨率的规则迭代需要真实距离时再去metric_depth/微调或直接用现成的室内/室外度量模型。模型选型没有银弹但有了清晰的评估基准和四档可选的梯度你至少不用再像故事里那位工程师一样对着玻璃幕墙干瞪眼三天了。【免费下载链接】Depth-Anything-V2[NeurIPS 2024] Depth Anything V2. A More Capable Foundation Model for Monocular Depth Estimation项目地址: https://gitcode.com/gh_mirrors/de/Depth-Anything-V2创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考