卢森堡大学等联手：让机器人“一眼认出“任意物体并精准对齐3D模型

这项由卢森堡大学自动化与机器人研究组SnT联合西班牙萨拉戈萨大学共同开展的研究以预印本形式发布于2026年7月16日论文编号为arXiv:2607.15058研究受卢森堡国家研究基金DEUS项目资助。**当机器人拿起一件东西之前它需要先看懂这件东西**不妨设想你是一位仓库工人上级给了你一张椅子的示意图然后让你在堆满货物的仓库里找到那把椅子并把它精确地摆放到货架上——不仅要搞清楚椅子在哪儿、朝向哪边还要搞明白它究竟有多大。这个任务听起来对人类来说并不困难但对机器人或计算机视觉系统而言却是一项极具挑战性的难题。这正是CAD模型与图像对齐这一研究方向所要解决的核心问题。CAD模型可以理解成一种精确的三维数字蓝图就像建筑师画的施工图纸。当系统拿到一张普通照片它需要把这个三维蓝图贴合到照片里的对应物体上弄清楚物体的旋转角度、所处位置以及实际尺寸——这三者合在一起在技术上被称为9D姿态估计其中9个维度分别对应3个方向的旋转、3个方向的平移以及3个轴向的缩放比例。这项能力一旦成熟将直接赋能机器人抓取、增强现实叠加以及场景理解等大量实际应用。然而现有方法普遍存在两个痛点要么需要大量昂贵的人工标注数据来训练泛化能力差要么虽然不需要标注、能做到零样本对齐却精度不足、速度太慢。这支研究团队为此提出了一套名为**SUFLECA**Scaling Up Feature LEarning for CAD-to-image Alignment即面向CAD对齐的特征学习规模化扩展的新框架并在核心评测基准上首次以零样本方法超越了有监督方法的精度同时做到速度更快、显存占用更小。---一、从认脸到认形视觉特征学习的根本困境要理解SUFLECA解决了什么问题先要弄清楚现有方法为何会失败。近年来计算机视觉领域出现了一批被称为视觉基础模型的强大工具它们经过海量图片训练能够提取图像中的丰富语义特征。你可以把这类特征理解为一种外貌描述——比如这个区域看起来像布料、那个角落颜色偏暖、这里的纹理很细密。利用这种外貌描述系统可以在CAD渲染图和真实照片之间寻找相似的区域从而建立对应关系——即哪张图的哪个点对应另一张图的哪个点。然而外貌描述天然有个弱点同一个物体在不同光线、不同遮挡、不同拍摄角度下外貌会发生很大变化而CAD渲染图作为干净的三维模型投影和真实照片之间存在明显的风格差距这就是所谓的合成到真实域的鸿沟。更根本的问题在于外貌特征无法告诉系统一个表面点在三维空间里究竟位于哪个位置而这恰恰是做姿态估计时最需要的信息。研究者们此前已经尝试过一种补救方案叫做归一化物体坐标Normalized Object Coordinates简称NOC监督学习。NOC可以理解成给物体表面的每一个点贴上一个三维坐标标签——物体最左边的点标记为红色最右边的点标记为青色最高的点标记为亮色最低的标记为暗色诸如此类。通过教会模型预测这些坐标标签模型就能在特征空间里建立起对三维几何的理解。但问题是之前采用这种思路的方法如ZeroCAD只在合成数据上训练且只覆盖9个物体类别、约30万张图片模型一旦碰到真实场景里有遮挡、有杂乱背景的物体就会出现明显的精度下滑。此外这些方法在建立对应关系时采用的是简单的最近邻匹配——即找到特征最相似的点就配对——这种做法容易产生一对多的混乱匹配几何上非常不一致最后不得不依赖耗时的迭代优化来补救。SUFLECA的两项核心贡献分别针对上述两个痛点进行了根本性改进。---二、用67万张图片磨练眼力大规模几何感知特征学习SUFLECA的第一项核心贡献是将NOC监督特征学习的规模大幅扩展从数据量、数据多样性和真实性三个维度同时发力。研究团队汇聚了12个来源各异的数据集包括室内场景扫描ScanNet、ScanNet、移动端RGB-D采集ARKitScenes、网络视频帧RealEstate10K、合成渲染场景3D-Front、Hypersim、ShapeNet以及更传统的目标识别数据集Pascal3D、Pix3D、ObjectNet3D等总计形成约**67.5万张训练图像**平均每张图含3.38个被标注的物体实例。这一规模比此前最强的同类方法大了约一倍物体类别覆盖范围也远超以往。更重要的是这个数据集横跨真实图像和合成图像两个领域。由于CAD对齐任务本身就需要在真实照片和合成渲染之间建立桥梁研究团队在每张有CAD标注的真实图像旁边额外生成了一张对应的合成渲染图把CAD模型以大致相同的角度渲染出来配上随机化的背景和材质偶尔还会把场景里的某个物体替换成外观相似但型号不同的版本。这样一来模型在训练时就同时接触到真实世界的杂乱感和合成图像的几何精确性自然地学会跨域不变的几何感知特征。并非所有数据集都直接提供现成的NOC标注图大多数数据集只给出了三维场景中物体的位姿信息。研究团队因此设计了一套自动化的NOC推导流程先把CAD模型按照已知位姿投影到图像上大致确定物体位置再用SAM2一种强大的图像分割模型精确提取物体掩码然后利用深度图或单目深度估计把掩码内的像素反投影回三维空间最后按照标准方法计算每个像素的归一化坐标。为了把质量差的标注过滤掉团队还设置了验证步骤将计算得到的NOC与CAD渲染的理论NOC进行对比误差超过阈值的实例直接丢弃可用标注像素太少的帧也整体舍弃。对于高帧率摄像机拍摄的视频数据集还通过等间隔采样和最小相机位移约束来确保视角多样性。在模型结构上SUFLECA选择了DUNE-B作为冻结的感知编码器——这是一种经过大量异质数据预训练的通用视觉编码器具有很强的基础特征提取能力。DUNE-B的多尺度输出特征通过一个密集预测TransformerDense Prediction Transformer简称DPT模块进行融合和上采样产生与输入图像等分辨率的稠密特征图每个像素对应一个384维的特征向量。在这个特征图之上再接一个轻量级的NOC分类头将三维坐标空间的每个轴向分成64个均匀区间称为bin对每个像素预测它落在哪个区间再以加权平均的方式还原出连续坐标值。训练损失由两部分组成分类交叉熵损失确保预测的区间是正确的和L1回归损失确保预测的连续坐标值足够精确。关键的设计在于NOC分类头只在训练时使用**推理时直接丢弃**。真正用于后续匹配的是DPT输出的那个384维特征图经过L2归一化后作为每个像素的几何感知描述子。通过NOC监督这个特征空间被塑形成对三维几何敏感的形态而同时保留了DPT特征本身的判别能力。研究团队还提供了一个名为SUFLECA-blend的变体将DPT特征与DUNE-B主干网络的最后一层输出特征拼接以在泛化能力和计算量之间取得不同的平衡。---三、像拼图高手一样找准对应几何一致性匹配算法光有好特征还不够如何利用这些特征建立准确的对应关系同样至关重要。SUFLECA的第二项核心贡献是一套完整的几何一致性对应估计算法。整体对齐流程可以分为以下几个环节像一条精密的流水线依次运行。首先系统对输入的真实图像提取特征图同时对候选CAD模型预先渲染若干个固定视角的视图默认6个并为每个视图预计算好特征图和三维点坐标。有了这批预渲染视图系统面临的第一个问题是从6个候选视角里选哪个视角来做匹配最合适研究者们发现经过训练的视觉编码器其实能在特征层面隐式编码视角信息。于是系统用单目深度估计把真实图像的掩码区域里的像素反投影成三维点云从中用最远点采样Farthest Point Sampling挑出512个代表性点然后对每个点去找6个候选视图里特征最相似的像素把所有点的最大相似度取平均得分最高的视图就被选为匹配对象。选好视图之后下一步是建立点对点的对应关系。普通的最近邻匹配会把真实图像里的每个点都找一个最相似的渲染图像点来配对但这很容易让多个点都配到同一个目标点造成多对一的混乱。SUFLECA采用的是**互相k近邻匹配**只有当图像里的点A在渲染图里k个最近邻中找到了点B同时渲染图里的点B在图像里k个最近邻中也找到了点A时这对配对才被保留下来。当多个点同时认领同一个目标时用贪心策略只保留相似度最高的那一对。这样得到的候选对应关系称为假设对应集质量已经比单纯最近邻好很多但仍然可能包含几何上不合理的匹配。真正的精华在最后的**几何一致性筛选**这一步。研究者们设计了一套聪明的方法来判断哪些对应关系在三维几何上是自洽的。核心思路是如果两对对应关系A对应AB对应B都是正确的那么A和B之间的三维距离应该与A和B之间的三维距离满足一个由物体各向异性缩放比例决定的关系。换句话说正确的对应关系应该集体同意一个统一的缩放参数而错误的对应关系则会违背这个约束。为了处理这个问题研究团队先通过枚举所有候选对应对计算每对的各向同性缩放比例对数值取直方图的众数来得到一个鲁棒的初始等比缩放估计再以此为基础用迭代重加权最小二乘法IRLS细化出三个轴向可能各不相同的各向异性缩放估计同时用一个系数α在各向异性估计和等比初始值之间做插值防止样本不足时估计退化。有了这个缩放估计就能对每一对候选对应计算预测距离和观测距离的相对偏差将偏差小于阈值β的对应对在一个一致性矩阵里标记为互相支持。然后计算这个矩阵的主特征向量每个候选对应关系在特征向量里的分量反映了它与多数靠谱对应的一致程度低于阈值的对应关系被剔除高于阈值的被保留下来传入后续的RANSAC注册求解器。最终的三维配准步骤采用了一种支持各向异性缩放的普氏分析Procrustes算法在空间分区RANSAC框架下鲁棒地求解旋转、平移和缩放参数。与此前方法不同的是SUFLECA不把CAD检索的置信度分数作为对齐质量的代理指标而是直接从配准残差的信息矩阵出发计算对数行列式作为对齐质量得分。这个得分在多视角聚合或多检测非极大值抑制时用于排序比语义检索置信度更能真实反映几何对齐的质量。---四、数字说话在ScanNet25k上首次超越有监督方法评测结果是这项研究最具说服力的部分。核心评测基准ScanNet25k是从室内扫描数据集ScanNet中提炼出来的标准测试集包含来自Scan2CAD标注的真实物体对齐任务涵盖浴缸、床、垃圾桶、书架、柜子、椅子、显示器、沙发、桌子共9个类别。判定标准相当严格平移误差须在20厘米以内旋转误差须在20度以内尺寸误差须在20%以内三个条件同时满足才算正确。在这个基准上SUFLECA基础版以**33.4%的类别平均精度**和**42.3%的实例平均精度**排名第一相比此前最强的零样本基线ZeroCAD不含迭代优化版本分别提升了10.3和12.2个百分点相比ZeroCAD完整版含迭代优化也分别高出10.3和12.2个百分点。更引人注目的是SUFLECA在9个类别里有7个达到了最高或次高精度**整体精度首次超越了依赖9D位姿监督训练的有监督方法MultiObj-SPARC**尽管后者在ScanNet上进行了充分的有监督训练。在另一个分测试集DiffCAD split包含6个类别评测时不使用非极大值抑制上对零样本方法而言挑战更大因为没有NMS来抑制错误对齐。SUFLECA在这个更严苛的设置下同样表现突出类别平均精度达到36.1%实例平均精度44.8%比ZeroCAD分别高出20.2和23.9个百分点甚至超过了DiffCAD论文中使用真实位姿选最优结果的神谕版本oracle variant类别均值35.8%实例均值41.9%。更轻量的SUFLECA-S版本使用更小的DUNE-S编码器特征维度256以30.6%/39.5%的精度同样大幅领先所有零样本基线证明即便用更紧凑的模型这套框架的核心优势依然成立。SUFLECA-blend版本在常见室内类别上的表现与基础版相当但在应对不常见物体时具有更强的泛化能力。---五、在陌生物体上的泛化测试CO3D数据集实验为了检验SUFLECA对从未见过的物体类别是否依然有效研究团队还在CO3D数据集上设计了一套更贴近真实使用场景的评测。CO3D是一个以物体为中心的三维重建数据集研究团队对其进行了适配通过将COLMAP点云与单目深度估计对齐来恢复度量尺度并在物体掩码内随机放置矩形遮挡块来模拟部分遮挡CAD候选模型则通过SAM3D和OSCAR零样本检索获得。评测分为两组**已见类别**椅子、沙发这两类在SUFLECA训练时出现过和**未见类别**烤面包机、吹风机、微波炉、行李箱这四类训练时从未出现。每类采样100帧图像覆盖208个不同物体实例。在已见类别上SUFLECA三个变体的表现均显著优于对比方法3D交并比达到62.6%左右而DINOv3-L和DUNE-B基线分别只有36.2%和23.4%Diorama达到39.4%。在更具挑战性的未见类别上SUFLECA同样保持了相当的竞争力基础版3D-IoU达到48.9%SUFLECA-blend通过融合更通用的DUNE-B特征进一步提升到49.5%Diorama以39.1%位居第二但在旋转精度上相对较好而DINOv3-L和DUNE-B基线则因缺乏几何感知特征而表现很弱8.8%和4.5%。这组结果表明SUFLECA学到的几何感知特征具有跨类别的迁移能力即便面对训练时从未见过的物体也能在有部分遮挡和检索不精确的条件下维持较好的三维对齐质量。---六、拆解每一块积木消融实验的发现研究团队还系统地测试了每个设计选择对最终性能的贡献以确认没有哪个环节是多余的装饰。关于训练数据当把ScanNet相关数据即与评测集来源相同的数据重新纳入训练时精度从33.4%/42.3%小幅提升到34.4%/42.8%。这个仅1个百分点的提升说明即便在严格零样本设置下不使用任何与测试集同源的数据SUFLECA的性能依然很强多样化训练数据的覆盖范围已经提供了足够的泛化能力。关于对应估计策略若只用最简单的最近邻匹配精度降至26.3%/34.2%比完整版本低了7个百分点以上。加入互相一致性约束变为互相最近邻匹配可以提升到30.7%/39.4%但仍有差距。进一步改用互相k近邻匹配则达到32.0%/41.0%最后加上几何一致性筛选才达到最终的33.4%/42.3%。每一步改进都带来了实质提升证明这套多层次的匹配策略各环节缺一不可。关于NMS评分机制如果用ROCA检索置信度代替SUFLECA自己的对齐质量得分来做NMS排序精度降至30.4%/39.3%下降3个百分点如果用视角选择相似度得分来排序则进一步降至29.2%/38.8%。这说明基于配准残差信息矩阵的对齐质量评分是比语义检索置信度更可靠的筛选依据。---七、速度与内存零样本方法中的效率冠军SUFLECA的优势不只体现在精度上在计算效率方面同样表现突出。从GPU显存占用来看SUFLECA基础版只需要2178 MB是所有零样本对比方法里最低的ZeroCAD代理实现需要约5000 MBFoundationPose需要8544 MB。特征维度384远低于ZeroCAD的2048正是高效运行的关键之一。更轻量的SUFLECA-S版本显存占用进一步降至1556 MB特征维度仅256。从单实例处理时间来看SUFLECA基础版每个物体实例只需0.53秒SUFLECA-S更快至0.49秒均比ZeroCAD含迭代优化约3.77秒快了7倍以上也比没有迭代优化的ZeroCAD代理版1.30秒快了一倍以上。研究团队还对SUFLECA内部各环节做了细分计时特征提取86.6毫秒、视角选择43.1毫秒、对应估计与筛选68.7毫秒、RANSAC三维配准332.0毫秒。绝大部分时间花在RANSAC上而RANSAC的迭代次数是可以直接调节的这意味着使用者可以根据需要灵活地在速度和精度之间取得平衡。---八、真实部署时的软肋CAD检索质量的制约研究团队也坦诚地分析了整个系统的薄弱环节CAD检索的质量对最终对齐精度有相当大的影响。当使用Scan2CAD数据集提供的理想标注即给出每个物体的正确CAD模型时SUFLECA的类别平均精度达到43.0%、实例平均精度54.2%当使用有监督训练的ROCA检索器时检索准确率34.3%精度降至33.4%/42.3%而当使用完全零样本的GroundedSAMOSCAR检索时由于检索准确率仅有3.8%大量检索到的CAD模型与目标不匹配精度进一步降至22.5%/33.1%。有意思的是从理想标注到有监督检索检索准确率下降了约65个百分点但对齐精度只下降了约9个百分点而从有监督检索到零样本检索检索准确率又下降了约30个百分点对齐精度只下降了约11个百分点。这种对齐精度的衰减远慢于检索准确率的衰减的规律表明SUFLECA对检索不精确的CAD模型具有一定的鲁棒性——即便拿到的CAD模型不是完全匹配的版本它依然能找到有效的几何对应关系。不过如何在真实世界的遮挡和外观变化下实现高质量的零样本CAD检索依然是一个有待突破的开放问题。---说到底SUFLECA这项工作做的事情可以用一句话概括它教会了计算机用几何眼光而非外貌眼光去匹配物体。通过汇集12个跨领域数据集、用三维坐标标签塑造特征空间、再用一套严密的几何一致性筛选机制挑出可靠对应关系这套系统在不需要任何位姿标注数据的情况下精度首次超越了需要大量有监督训练的专用方法同时做到了更快的速度和更低的显存消耗。这对机器人领域来说意味着什么它意味着机器人在面对陌生物体时不再需要预先收集大量该物体的标注图像来训练只要有一个粗略的三维模型就能做到较为精准的位姿估计和抓取规划。对增强现实应用而言这也意味着更低门槛的三维内容叠加能力。当然如研究团队自己指出的目前这套系统还有两个明显局限其一整个流水线的上限仍然受CAD检索质量制约在真实场景中零样本检索到精确匹配模型依然很难其二SUFLECA目前主要针对室内常见物体类别户外场景和长尾类别的覆盖有待扩展。这两个方向也自然地成为了下一步研究的路标。对这个话题感兴趣的朋友可以通过论文编号arXiv:2607.15058查阅完整论文项目代码也已在GitHub上的snt-arg/SUFLECA仓库公开。---QAQ1SUFLECA是什么和普通的物体姿态估计方法有什么区别ASUFLECA是一种零样本的CAD模型与图像对齐方法无需任何位姿标注数据就能估计物体的三维旋转、位移和尺寸。与普通方法相比它通过在67万张真实和合成图像上学习几何感知特征再配合几何一致性筛选算法在不做迭代优化的情况下实现了更高精度和更低显存占用是目前在ScanNet25k基准上首个超越有监督方法的零样本框架。Q2SUFLECA在实际机器人应用中能用吗速度够快吗A目前SUFLECA处理每个物体实例只需约0.53秒显存占用约2178 MB在零样本方法中效率最高基本满足机器人实时感知的需求。不过整个系统还依赖CAD检索等上游模块在真实部署中如果CAD检索不准确对齐精度会有明显下降这是目前实际落地时需要注意的瓶颈。Q3SUFLECA对从未见过的物体类别也能用吗A可以但效果有所差异。在CO3D数据集的测试中对于训练时从未出现的类别如烤面包机、吹风机等SUFLECA-blend变体的3D交并比达到约49.5%仍然显著优于纯视觉基础模型的基线方法。主要原因是NOC监督学习到的几何感知特征具有跨类别迁移能力但对更陌生的物体泛化能力会有一定下滑。