清华大学提出ACmix | 这才是Self-Attention与CNN正确的融合范式，性能速度全面提升

近年来，卷积和Self-Attention在计算机视觉领域得到了长足的发展。卷积神经网络广泛应用于图像识别、语义分割和目标检测，并在各种基准上实现了最先进的性能。最近，随着Vision Transformer的出现，基于Self-Attention的模块在许多视觉任务上取得了与CNN对应模块相当甚至更好的表现。

尽管这两种方法都取得了巨大的成功，但卷积和Self-Attention模块通常遵循不同的设计范式。传统卷积根据卷积的权值在局部感受野上利用一个聚合函数，这些权值在整个特征图中共享。固有的特征为图像处理带来了至关重要的归纳偏差。

相比之下，Self-Attention模块采用基于输入特征上下文的加权平均操作，通过相关像素对之间的相似函数动态计算注意力权重。这种灵活性使注意力模块能够适应地关注不同的区域，并捕捉更多的特征。

考虑到卷积和Self-Attention的不同和互补性质，通过集成这些模块，存在从两种范式中受益的潜在可能性。先前的工作从几个不同的角度探讨了Self-Attention和卷积的结合。

早期的研究，如SENet、CBAM，表明Self-Attention可以作为卷积模块的增强。最近，Self-Attention被提出作为独立的块来替代CNN模型中的传统卷积，如SAN、BoTNet。

另一种研究侧重于将Self-Attention和卷积结合在单个Block中，如 AA-ResNet、Container，而该体系结构限于为每个模块设计独立的路径。因此，现有的方法仍然将Self-Attention和卷积作为不同的部分，并没有充分利用它们之间的内在关系。

在这篇论文中，作者试图揭示Self-Attention和卷积之间更为密切的关系。通过分解这两个模块的操作表明它们在很大程度上依赖于相同的卷积操作。作者基于这一观察结果开发了一个混合模型，名为ACmix，并以最小的计算开销优雅地集成了Self-Attention和卷积。

具体地说：

• 首先，通过使用1*1卷积对输入特征进行映射，获得丰富的中间特征集；
• 然后，按照不同的模式(分别以Self-Attention方式和卷积方式)重用和聚合中间特征。 通过这种方式，ACmix既享受了两个模块的优点，又有效地避免了两次昂贵的投影操作。