OAK相机 IMU 和外壳标定

▶核心摘要一句话总结OAK 双目相机现已内置出厂标定将相机、IMU 与设备外壳统一到同一坐标系中。这一标定补偿了真实世界的制造公差使相机与 IMU 数据的融合、点云与物理设备的对齐以及机器人集成变得更加容易。验证结果表明新标定将相机到 IMU 的对齐误差从约 1.16° 降低至 0.38°开箱即用的多传感器融合一致性显著提升。OAK 相机搭载了丰富的传感器每台设备都配备一个 IMUOAK-1系列除外以及一到三颗 RGB/黑白相机有时还会额外集成一颗 ToF传感器。每一颗传感器都从各自独有的视角、各自独立的坐标系中采集数据。然而当我们需要将这些测量结果映射到真实世界时问题就来了 —— 机器人、机械臂、车辆都存在于现实世界中它们需要把来自传感器的所有数据转换到一个世界坐标系中。从传感器空间到世界空间的转换一直是 OAK 设备上缺失的一个环节。而今这问题已然解决。那么如何从传感器数据连接到任何物理上附着于外部世界的参照物呢仅有的两条直接纽带其一是通过 IMU 传感器可测得的重力矢量其二是设备本身的物理结构—— 例如通过 VESA 支架我们可以将设备固定到一个已知的精确位姿上。从设备外壳到其他所有传感器包括 IMU的精确坐标变换正是此前唯一缺失的信息。而这也正是现在每一台新出厂的设备都将随附的功能。从理论上讲所有坐标系都可以从设备的机械设计中获知。但在实际生产中每台组装完成的设备都存在微小的制造公差。传感器安装得相当精确但并非完美。此外IMU 传感器还携带固有的偏置误差需要额外补偿。因此精确的出厂标定至关重要。此前OAK 设备的出厂标定主要集中在相机传感器之间的内部校准上。双目深度、立体校正、空间人工智能和点云生成都依赖于精确的相机间几何关系。如今所有 OAK 双目相机还将完成设备外壳和 IMU 的出厂标定。这形成一个完整的系统相机、IMU 和物理设备外壳通过一个统一的标定几何模型彼此连通所有数据均可转换到环绕我们的现实世界。为什么这件事很重要设想你正在将一台相机通过 VESA 支架安装到机器人上。机器人清楚地知道支架的位置但相机内部的传感器并没有按照 CAD 模型的理想位置完美就位。制造工艺极其精密但并非完美。每台组装完成的设备都因生产公差而存在细微的差异。IMU 也会引入因设备而异的微小测量偏置。这些差异非常微小通常只有几分之一度但在构建高精度机器人、地图构建或视觉惯性系统时其影响不容忽视。出厂标定会为每一台设备单独测量这些真实世界的偏差。最终形成一条完整的标定链路将以下三者连接在一起每台相机IMU 惯性测量单元设备的物理外壳这意味着所有传感器数据现在都能准确地关联到外部世界。▶两类坐标系OAK 设备提供两类坐标系统。第一类是原生传感器坐标系Native Sensor FramesCAM_ACAM_BCAM_CIMU它们代表每颗传感器自然采集数据时所处的坐标系。第二类是外壳坐标系Housing Coordinate Systems它们与物理设备本体绑定安装位点如 VESA 支架位置前面板参考坐标系外壳对齐后的传感器坐标系当你把相机作为一个物理对象时外壳坐标系就显得格外有用。一个重要的区别在于原生传感器坐标系与其外壳对齐对应坐标之间的差异。举例来说CAM_A —— 相机的原生光学坐标系Housing.CAM_A —— 原点相同但坐标轴与外壳对齐同样的逻辑也适用于IMU —— 原生 IMU 坐标系Housing.IMU —— 外壳对齐后的 IMU 坐标系二者共享相同的物理位置但在制造装配后其朝向可能存在微小差异。出厂标定所测量的正是这个差异。如需获取完整的可用坐标系列表、各自的含义以及用于检索坐标系间变换的当前 API请参阅官方 DepthAI 文档中的 Coordinate Systems坐标系统 章节。▶为什么不能直接用 CAD 模型理论上每个传感器的位置早已在机械设计中确定。现实中每台组装完成的设备都略有不同。即便是微小的装配公差也会累积叠加导致传感器的真实朝向偏离理想的 CAD 模型。如果不测量这些偏差所有下游应用都将继承这些误差。出厂标定通过测量每台设备的实际几何关系消除了这一不确定性。一个统一的参考坐标系一旦有了外壳和 IMU 的标定数据每一份测量结果都可以在同一个物理坐标系中表达。例如· 相机检测到一个三维空间点· IMU 测量到重力矢量· 机器人已知相机的安装位姿它们无需各自停留在自己的坐标系中而是可以全部转换到一个统一的外壳坐标系下。这使众多应用场景的落地难度大幅降低机器人 —— 传感器数据直接关联到物理安装位视觉惯性里程计VIO —— 相机与 IMU 测量值一致使用多传感器融合 —— 在同一坐标系中组合多个传感器标定验证 —— 直接比较独立测量结果OAK相机不再仅仅是经过标定的双目相机而是经过标定的物理传感器系统。▶ DepthAI直接展示已校准后的坐标变换DepthAI 直接对外暴露已标定的坐标变换。应用程序可以请求相机坐标系与外壳坐标系之间的变换关系。例如可以从CAM_A到VESA_A获取变换使得相机测量的三维点能够直接表达为相对于安装接口的坐标。此外许多节点也可以直接在外壳坐标系中工作。以 PointCloud点云节点为例它可以在相机坐标系或任何支持的外壳坐标系中生成点云。无需事后再逐点变换 —— 直接选择所需的输出坐标系即可。IMU 沿用相同的思路。请求以下原始数据ACCELEROMETER_UNCALIBRATEDGYROSCOPE_UNCALIBRATED将返回原生 IMU 坐标系中的测量值。而请求经标定的数据ACCELEROMETER_CALIBRATEDGYROSCOPE_CALIBRATED则将应用标定校正产生与外壳坐标系Housing.IMU对齐的数据。▶标定验证ChArUco 与 IMU 重力对齐实验为验证整套标定链路在实际中的表现我们进行了一项 ChArUco 标定板与 IMU 重力矢量对齐实验。实验的目的不仅仅是检查标定数值 —— 而是要确认两种完全独立的传感器是否对真实世界达成了一致的描述。实验步骤如下1. 将一块 ChArUco 标定板平放在地面上2. 相机估算该标定板的位姿3. 从该位姿计算标定板的法向量4. IMU 测量重力矢量5. 将两个矢量均转换到 Housing.IMU 坐标系中6. 测量二者之间的夹角由于标定板平放在地面上其法向量应当指向与重力相同的方向。如果标定足够精确这两个独立测量的向量应当高度一致。这提供了一种对整套标定链路的端到端验证而非对相机和 IMU 各自单独测试。每台设备的测试条件如下· 一块 ChArUco 标定板放置在地面上· 相机以约 45° 角拍摄标定板· IMU 采集重力测量值· 每种配置采集 100 个样本▶实验结果在一台 OAK 4 D PRO 设备上的测试结果未标定相机 未标定 IMU平均误差1.16°完整标定相机 标定 IMU平均误差0.38°在五台 RVC4 设备上经过全新的参考相机标定后平均偏差同样为0.38°。误差从 1.16° 降至 0.38°降幅约为 67%。这一改进不仅体现在数值的缩小 —— 更关键的是它证明了相机与 IMU 现在对同一物理世界的描述具有更高的一致性。这正是机器人、地图构建、视觉惯性里程计和多传感器融合等应用所依赖的核心能力。目前剩余误差的很大一部分来自测量装置本身而非标定精度这有力地验证了整套多传感器标定管线的可靠性。▶总结通过出厂标定将相机、IMU 和外壳连接起来OAK 双目相机不再是简单封装在一起的独立传感器而是统一的物理感知系统。现在应用程序可以自信地将相机观测、IMU 测量、点云数据和机器人位姿统一到一个与物理设备直接绑定的共享坐标系中。对于机器人、地图构建、SLAM 以及视觉惯性应用来说这打通了传感器测量到真实世界的最后一公里。▶参考资源 OAK4 坐标系统文档点击获取 OAK4 IMU 文档点击获取