ARTICLE DETAIL

建站实战干货

来自一线的建站与推广经验沉淀,每一条都经过真实交付验证。

【yolo26改进】CVPR 2026 SAT 中的 SAA 模块:选择性聚合注意力,即插即用!

2026/8/7 13:07:21 拓冰建站 浏览量
【yolo26改进】CVPR 2026 SAT 中的 SAA 模块:选择性聚合注意力,即插即用! 一、为什么需要 SAA?在图像超分辨率(SR)任务中,Transformer 的全局建模能力已经被广泛验证。但有一个老问题始终没被优雅解决:原生自注意力的计算复杂度是序列长度的平方级,一张 512×512 的图像直接算注意力,显存瞬间爆炸窗口注意力(如 SwinIR)​ 虽然把计算限制在小窗口内,但感受野被锁死,跨窗口的长距离依赖抓不到现有高效注意力​ 大多采用“对称压缩”——Query、Key、Value 一起砍 token,这对分类任务没问题,但对 SR 这种逐像素重建任务是灾难性的:空间分辨率一旦下降,边缘和纹理就糊了SAT 的作者观察到一个非常关键的先验:图像中不是所有位置都同等重要。​平滑区域(低频)信息冗余,可以安全合并;边缘、纹理区域(高频)承载关键信息,必须保留全分辨率。基于这个洞察,他们提出了SAA(Selective Aggregation Attention,选择性聚合注意力),核心思想只有一句话:Query 保持全分辨率,只对 Key 和 Value 做极端稀疏的聚类压缩。论文中,Key/Value