【ICML2022】通过凸对偶揭示注意力:视觉Transformers的分析与解读

5 月 30 日 专知


利用自注意或其提出的替代方案的视觉transformers 在许多与图像相关的任务中显示出良好的结果。然而,归纳性注意偏差的基础还没有被很好地理解。为了解决这一问题,本文通过凸二象性的视角来分析注意力。对于非线性点积自注意,以及MLP混合器和傅立叶神经算子(FNO)等替代机制,我们导出了可解释和可求解全局最优的等价有限维凸问题。凸规划导致阻塞核范数正则化,在潜在特征和令牌维度上提高低秩。特别地,我们展示了自注意力网络如何基于它们的潜在相似性隐式聚集令牌。我们通过对各种凸注意力头进行微调,实现了用于CIFAR-100分类的预训练transformers 骨干的转移实验。结果表明,与现有的MLP或线性磁头相比,由注意力引起的偏置具有优越性。


https://www.zhuanzhi.ai/paper/bdf2d9661e9c0ed0cb8e6b6dfcb965d4



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“AIVT” 就可以获取【ICML2022】通过凸对偶揭示注意力:视觉Transformers的分析与解读》专知下载链接

专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取100000+AI(AI与军事、医药、公安等)主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取100000+AI主题知识资料
登录查看更多
0

相关内容

【ICML2022】时序自监督视频transformer
专知会员服务
18+阅读 · 7月28日
【ICML2022】结构感知Transformer的图表示学习
专知会员服务
34+阅读 · 6月17日
【ICML2022】MetAug:通过元特征增强的对比学习
专知会员服务
16+阅读 · 5月20日
【WSDM2022】具有分层注意力的图嵌入
专知会员服务
27+阅读 · 2021年11月17日
专知会员服务
31+阅读 · 2021年7月17日
专知会员服务
42+阅读 · 2021年6月14日
专知会员服务
30+阅读 · 2021年6月11日
专知会员服务
35+阅读 · 2021年5月15日
【ICML2022】可解释的心理学理论
专知
1+阅读 · 5月29日
【WSDM2022】具有分层注意力的图嵌入
专知
0+阅读 · 2021年11月17日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
Arxiv
15+阅读 · 2021年4月8日
Arxiv
13+阅读 · 2021年3月29日
VIP会员
相关VIP内容
【ICML2022】时序自监督视频transformer
专知会员服务
18+阅读 · 7月28日
【ICML2022】结构感知Transformer的图表示学习
专知会员服务
34+阅读 · 6月17日
【ICML2022】MetAug:通过元特征增强的对比学习
专知会员服务
16+阅读 · 5月20日
【WSDM2022】具有分层注意力的图嵌入
专知会员服务
27+阅读 · 2021年11月17日
专知会员服务
31+阅读 · 2021年7月17日
专知会员服务
42+阅读 · 2021年6月14日
专知会员服务
30+阅读 · 2021年6月11日
专知会员服务
35+阅读 · 2021年5月15日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员