CVPR 2024 | MaSA：曼哈顿自注意力，距离衰减让Transformer拥有空间感知力！

论文: RMT: Retentive Networks Meet Vision Transformers
作者: Qihang Fan, Huaibo Huang, Mingrui Chen, Hongmin Liu, Ran He
发表: CVPR 2024
论文链接: arXiv:2309.11523
代码链接: qhfan/RMT

一、引言

Vision Transformer（ViT）自问世以来，在计算机视觉领域取得了巨大成功。然而，作为 ViT 核心组件的 Self-Attention 存在两个固有缺陷：

1. 缺乏显式空间先验——标准 Self-Attention 对所有 token 对一视同仁，没有考虑图像中空间位置的几何关系；
2. 二次计算复杂度——全局建模的计算量随 token 数量平方增长，限制了高分辨率场景下的应用。

为解决上述问题，RMT（Retentive Networks Meet Vision Transformers）从 NLP 领域的 Retentive Ne