128、DAT详解：可变形注意力Transformer如何提升超分性能

128、DAT详解：可变形注意力Transformer如何提升超分性能上个月调一个老模型的时候，发现EDSR在纹理复杂区域总是糊成一团，尤其是那种密集排列的砖墙纹理，重建出来的结果简直像被马赛克糊过一样。当时我第一反应是“训练不够”，加了两倍epoch，结果只是从“糊”变成了“稍微不那么糊”。后来翻到一篇论文——DAT（Deformable Attention Transformer），才意识到问题出在注意力机制的“视野”上。传统Transformer在超分里用的全局注意力，计算量爆炸不说，对局部纹理的建模其实很粗糙。今天这篇笔记，就聊聊DAT是怎么用可变形注意力把超分性能再往上推一截的。为什么Transformer在超分里会“眼瞎”先说说痛点。SwinIR这类模型用窗口注意力，把图像切成固定大小的patch，每个patch内部做自注意力。好处是计算量可控，坏处是——窗口边界的信息被硬生生切断了。你想象一下，一个纹理特征可能横跨两个窗口，但模型只能看到各自窗口内的局部，跨窗口的依赖关系全靠后续的shift操作来弥补。这种“先切碎再缝合”的思路，本质上是在跟图像的自然结构作对。更致命的是，超分任务里高频细节的分布是极度不均匀的。平滑区域不需要太多注意力，纹理密集区域却需要长距离的上下文关联。固定窗口的注意力机制，相当于给所有区域分配了等量的计算资源——这显然不合理。我试过在SwinIR里把窗口大小从8调到16，显存直接爆了，但PSNR只涨了0.03dB，血亏。DAT的核