152、HAT模型：混合注意力Transformer在超分中的创新设计与性能优化实战

152、HAT模型：混合注意力Transformer在超分中的创新设计与性能优化实战上周调一个老模型的时候，发现PSNR死活上不去，卡在38.2dB附近不动了。同事说“要不试试HAT”，我第一反应是“又是哪个新出的attention魔改”。结果看完论文，发现这玩意儿还真不是花架子——它把通道注意力和空间注意力揉在一起，还加了个残联结构，在Urban100上直接干到了40.1dB。今天就把我踩过的坑和优化心得掰开揉碎讲清楚。从SwinIR到HAT：我们到底缺了什么先说说背景。SwinIR出来的时候，大家都觉得Transformer在超分上稳了——移动窗口自注意力确实比CNN能抓长程依赖。但跑过SwinIR的人都知道，它有个致命问题：窗口边界的信息被割裂了。你放大一张纹理密集的图，比如砖墙或者布料，SwinIR经常在窗口交界处出现伪影。这不是参数不够，是注意力机制本身没覆盖到跨窗口交互。HAT的解决思路很直接：既然单窗口注意力不够，那就加一个全局的通道注意力来补。但注意，不是简单堆叠——它设计了一个“混合注意力块”（Hybrid Attention Block），把通道注意力和空间自注意力做成并联结构，然后通过一个可学习的门控融合。这个设计我一开始觉得多余，直到自己复现时发现：串联的话，通道注意力会把空间细节磨平；并联加门控，两者才能各司其职。混合注意力块：别把通道和空间搞成串行代码实现上，最核心的部分就是这个混合注意力块。我贴一段关键代码，注释里写清楚我当时犯的错：