关注点之（五）大畸变pinhole/fisheye场景的重建及渲染

0.概述对较大的畸变场景重建及渲染，若先将鱼眼图像 “去畸变” 为针孔图像，会裁剪边缘区域，丢失大量场景信息（鱼眼图像边缘信息密度高，对深度估计至关重要，这种方式不可取，且无法与后续重建流程端到端优化，导致最终重建误差无法最小化。对于fisheye-gs这种做法采用对原始图像等轴投影处理会改变原始内参且边界区域仍然存在刘海状像素丢失，亦不可取。经过充分调研与对比，主要有三种方式可以实现无畸变图像的训练与渲染，达到像素级对齐。1.fisheye-gs实现方式：对原始图片去畸变传统3dgs模型训练基于鱼眼相机的雅可比矩阵渲染框架完成渲染输出渲染结果存在的问题：鱼眼相机去畸变损失边界区域的像素基于鱼眼相机的雅可比矩阵，边界区域还是存在明显的投影误差，导致渲染后图片边角还有模糊和重影2.无迹变换原始3D高斯泼溅依赖EWA泼溅公式，通过一阶雅可比矩阵对相机投影进行线性化处理。但对于畸变严重的鱼眼相机，这