近年来,卷积和Self-Attention在计算机视觉领域得到了长足的发展。卷积神经网络广泛应用于图像识别、语义分割和目标检测,并在各种基准上实现了最先进的性能。最近,随着Vision Transformer的出现,基于Self-Attention的模块在许多视觉任务上取得了与CNN对应模块相当甚至更好的表现。

尽管这两种方法都取得了巨大的成功,但卷积和Self-Attention模块通常遵循不同的设计范式。传统卷积根据卷积的权值在局部感受野上利用一个聚合函数,这些权值在整个特征图中共享。固有的特征为图像处理带来了至关重要的归纳偏差。

相比之下,Self-Attention模块采用基于输入特征上下文的加权平均操作,通过相关像素对之间的相似函数动态计算注意力权重。这种灵活性使注意力模块能够适应地关注不同的区域,并捕捉更多的特征。

考虑到卷积和Self-Attention的不同和互补性质,通过集成这些模块,存在从两种范式中受益的潜在可能性。先前的工作从几个不同的角度探讨了Self-Attention和卷积的结合。

早期的研究,如SENet、CBAM,表明Self-Attention可以作为卷积模块的增强。最近,Self-Attention被提出作为独立的块来替代CNN模型中的传统卷积,如SAN、BoTNet。

另一种研究侧重于将Self-Attention和卷积结合在单个Block中,如 AA-ResNet、Container,而该体系结构限于为每个模块设计独立的路径。因此,现有的方法仍然将Self-Attention和卷积作为不同的部分,并没有充分利用它们之间的内在关系。

在这篇论文中,作者试图揭示Self-Attention和卷积之间更为密切的关系。通过分解这两个模块的操作表明它们在很大程度上依赖于相同的卷积操作。作者基于这一观察结果开发了一个混合模型,名为ACmix,并以最小的计算开销优雅地集成了Self-Attention和卷积。

具体地说:

  • 首先,通过使用1*1卷积对输入特征进行映射,获得丰富的中间特征集;
  • 然后,按照不同的模式(分别以Self-Attention方式和卷积方式)重用和聚合中间特征。 通过这种方式,ACmix既享受了两个模块的优点,又有效地避免了两次昂贵的投影操作。
成为VIP会员查看完整内容
25

相关内容

【AAAI2022】基于对比学习的预训练语言模型剪枝压缩
专知会员服务
27+阅读 · 2022年1月24日
【AAAI2022】基于双流更新的视觉Transformer动态加速方法
专知会员服务
23+阅读 · 2021年12月11日
基于大型预训练语言模型的自然语言处理研究进展综述
专知会员服务
90+阅读 · 2021年11月4日
专知会员服务
22+阅读 · 2021年7月15日
专知会员服务
16+阅读 · 2021年5月23日
专知会员服务
101+阅读 · 2020年12月22日
【CVPR2020-港中文】 图像识别中的自注意力探索
专知会员服务
55+阅读 · 2020年4月29日
深度神经网络模型压缩与加速综述
专知会员服务
125+阅读 · 2019年10月12日
CNN网络结构的发展(最全整理)
极市平台
72+阅读 · 2019年11月2日
三种减少卷积神经网络复杂度同时不降低性能的新方法
统计学习与视觉计算组
3+阅读 · 2017年5月26日
Arxiv
20+阅读 · 2021年9月21日
Arxiv
6+阅读 · 2019年4月8日
Next Item Recommendation with Self-Attention
Arxiv
5+阅读 · 2018年8月25日
Interpretable Active Learning
Arxiv
3+阅读 · 2018年6月24日
Arxiv
6+阅读 · 2018年5月18日
Arxiv
13+阅读 · 2018年4月18日
VIP会员
相关VIP内容
【AAAI2022】基于对比学习的预训练语言模型剪枝压缩
专知会员服务
27+阅读 · 2022年1月24日
【AAAI2022】基于双流更新的视觉Transformer动态加速方法
专知会员服务
23+阅读 · 2021年12月11日
基于大型预训练语言模型的自然语言处理研究进展综述
专知会员服务
90+阅读 · 2021年11月4日
专知会员服务
22+阅读 · 2021年7月15日
专知会员服务
16+阅读 · 2021年5月23日
专知会员服务
101+阅读 · 2020年12月22日
【CVPR2020-港中文】 图像识别中的自注意力探索
专知会员服务
55+阅读 · 2020年4月29日
深度神经网络模型压缩与加速综述
专知会员服务
125+阅读 · 2019年10月12日
相关论文
Arxiv
20+阅读 · 2021年9月21日
Arxiv
6+阅读 · 2019年4月8日
Next Item Recommendation with Self-Attention
Arxiv
5+阅读 · 2018年8月25日
Interpretable Active Learning
Arxiv
3+阅读 · 2018年6月24日
Arxiv
6+阅读 · 2018年5月18日
Arxiv
13+阅读 · 2018年4月18日
微信扫码咨询专知VIP会员