论文介绍

自上而下注意力机制在人类视觉系统中的关键作用

人类视觉系统中，自上而下的注意力机制至关重要。大脑首先获取场景的粗略概览以发现显著线索（即“先概览”），随后进行更精细的局部观察（即“再细看”）。然而，现代卷积神经网络（ConvNets）仍局限于金字塔结构，通过逐层下采样特征图以扩展感受野，忽视了这一关键的仿生学原理。

OverLoCK架构的创新设计

OverLoCK是首个明确整合自上而下注意力机制的纯卷积网络主干架构。与金字塔结构的主干网络不同，该设计采用分支架构，包含三个协同子网络：

1. Base-Net：编码低/中层特征；
2. 轻量级Overview-Net：通过粗粒度全局上下文建模生成动态自上而下注意力（即“先概览”）；
3. 鲁棒性Focus-Net：在自上而下注意力引导下执行细粒度感知（即“再细看”）。

上下文混合动态卷积（ContMix）

为充分释放自上而下注意力的潜力，提出了一种新型上下文混合动态卷积（ContMix）。该方法在输入分辨率增加时，既能有效建模长程依赖关系，又能保留固有的局部归纳偏置，解决了现有卷