Gyro-based Neural Single Image Deblurring论文阅读

1. 论文的研究目标与实际意义

研究目标：
论文旨在解决相机抖动导致的图像模糊问题，提出一种结合陀螺仪（gyro）传感器的单图像去模糊方法。核心目标是利用陀螺仪数据提供的相机运动信息，缓解传统去模糊方法的病态性（ill-posedness），提升模糊图像的恢复质量。

实际问题与产业意义：

• 实际问题：智能手机拍摄中，手抖或运动会导致图像模糊，传统纯视觉方法难以恢复细节，尤其在大模糊或复杂运动场景（如动态物体）中表现不佳。
• 产业意义：
  • 提升手机摄影质量，改善用户体验。
  • 辅助监控、自动驾驶等依赖清晰图像的领域。
  • 降低专业设备依赖，推动低成本高精度去模糊技术落地。

---

2. 创新方法、模型与公式

GyroDeblurNet的核心创新在于通过相机运动场（Camera Motion Field, $\mathcal{V}$） 嵌入时序陀螺数据，并结合陀螺仪精炼块与陀螺仪去模糊块处理噪声，同时采用课程学习训练策略提升鲁棒性。

图2：相机运动场构建流程

(a) 计算单应矩阵与变形坐标；(b) 堆叠运动向量生成$\mathcal{V}$。

2.1 核心创新：GyroDeblurNet架构

GyroDeblurNet由两个模块组成（见图3）：

1. 图像去模糊模块：基于U-Net架构，使用NAFBlock作为基础单元，生成残差图$R$叠加到模糊图像$B$上输出去模糊图像$D$：
   $$D=B+R$$
2. 陀螺模块：输入相机运动场$\mathcal{V}$，通过精炼块与下采样层逐步优化陀螺特征，传递至瓶颈层辅助去模糊。
   关键优势：双模块设计实现陀螺数据与图像特征的交互式优化，突破先前单向融合的局限。

2.2 相机运动场（Camera Motion Field）

目标：将任意长度陀螺序列 G = { g 0 , ⋯   , g T − 1 } G = \{g_0, \cdots, g_{T-1}\} G={g0​,⋯,gT−1​}转换为固定尺寸张量$\mathcal{V}\in {\mathbb{R}}^{(W/s)\times (H/s)\times 2M}$（$W,H$为图像尺寸，$s$为下采样因子，$M$为超参数）。

2.2.1 重采样过程

输入序列$G$长度$T$可变（与曝光时间成正比），通过三次样条插值降采样至$M+1$点：
G ′ = { g 0 ′ , ⋯   , g M ′ } G' = \{g'_0, \cdots, g'_M\} G′={g0′​,⋯,gM′​}
其中$M$为偶数（实验取$M=8$），确保时间中心对称。

2.2.2 积分角速度

假设相机仅旋转（忽略平移），积分角速度得$M+1$个相机方向${\theta }_m$：
θ m = ∫ t m t m + 1 g ( t ) d t , m = 0 , ⋯   , M \theta_m = \int_{t_m}^{t_{m+1}} g(t) dt, \quad m=0,\cdots,M θ