157、EDVR模型：可变形卷积与时空注意力在视频超分中的融合应用

157、EDVR模型：可变形卷积与时空注意力在视频超分中的融合应用

去年有个项目，甲方要求把一段监控录像从720p拉到4K，还要保留车牌和面部细节。我一开始用ESPCN单帧超分，结果帧间闪烁得跟老电视雪花屏似的。后来换成EDVR，虽然训练慢了两倍，但输出视频的时序一致性直接上了一个台阶。今天就把这个模型的调参血泪史和核心设计思路掰开揉碎讲清楚。

为什么单帧超分在视频上翻车

先说说我踩过的坑。单帧超分模型（比如SRCNN、EDSR）处理视频时，每一帧独立重建，结果相邻帧的纹理会出现随机抖动。你拿PSNR看可能还行，但人眼对时序闪烁极其敏感，尤其是边缘区域。EDVR的核心贡献就是把“时序对齐”和“特征融合”做成了端到端可学习，而不是像传统方法那样先光流估计再对齐。

EDVR的架构分三块：PCD对齐模块、TSA融合模块、重建模块。我重点讲前两个，因为重建部分跟EDSR差不多，没什么新花样。

PCD对齐模块：可变形卷积的骚操作

PCD（Pyramid, Cascading and Deformable）对齐模块是EDVR的杀手锏。传统光流法需要显式估计运动场，但视频超分场景下，运动往往是亚像素级的，光流估计本身就有误差。可变形卷积（Deformable Convolution）直接让网络自己学偏移量，省去了中间步骤。

代码实现时有个细节容易翻车——可变形卷积的offset输出通道数必须是2N，其中N是卷积核大小。比如3x3的可变形卷积，offset通道数就是18。我第一次写的时候忘了乘以2，结