131、多模态融合感知：视觉激光雷达的融合策略从一次深夜调试说起上周在实验室调试一台移动抓取平台，机械臂已经对准了桌面上的易拉罐，但夹爪下去却扑了个空。查了半天，问题出在感知端——视觉模块给出的抓取点在图像上是准的，但激光雷达点云里那个位置根本就是空的。两个传感器各说各话，融合模块却傻乎乎地取了平均。这种问题在真实机器人上太常见了，今天就把多模态融合这件事掰开揉碎讲清楚。为什么不能简单地把点云投影到图像上很多同学拿到激光雷达和相机，第一反应就是把3D点投影到2D图像上，然后做特征拼接。这个思路本身没错，但落地时全是坑。激光雷达点云是稀疏的，一帧64线雷达在10米外可能只有几百个点，投影到图像上就是稀稀拉拉几个像素。你拿这些稀疏特征去和稠密的图像特征做concat，网络很容易被图像主导，雷达信息基本被淹没。更麻烦的是时间同步。相机帧率30Hz，雷达帧率10Hz，两者时间戳对不齐。你拿最新一帧图像去配上一帧雷达数据，运动快的物体边缘全是重影。我见过有人直接拿ROS的message_filter做近似同步，结果机械臂高速运动时抓取误差能到5厘米以上。这里踩过坑，后来老老实实做了时间戳插值——把雷达点云按照相机时间戳做线性插值，虽然会增加几十毫秒延迟，但精度提升是质的飞跃。融合的三种层次：数据级、特征级、目标级数据级融合最直观，就是把点云投影到图像平面，生成深度图或者伪点云，然后当成多通道输入喂给网络。这种做法的好处是实现简单，坏处是投影过程会丢失3D结构信息。你想想，一个点投影到图像上，深度值有了，但法向量、