自注意力机制利用所有输入标记之间的成对注意力对长上下文进行建模。在此过程中,他们假设单个标记(例如,文本字符或图像像素)定义了固定的注意力粒度,这对于在更高级别上建模复杂依赖关系可能不是最优的。在本文中,我们提出了ContextPool,通过调整每个标记的注意粒度来解决这个问题。受ConvNets成功结合池化来捕获远程依赖的启发,我们学会了在给定的注意力层中计算注意力之前,为每个令牌池化邻近的特性。池权和支持大小是自适应确定的,允许池特性以不同的规模编码有意义的上下文。我们表明,ContextPool使注意力模型更具表现力,通常用更少的层实现强大的性能,从而显著降低成本。实验验证,当我们的ContextPool模块插入transformer 模型时,在几种语言和图像基准上使用较少的计算,匹配或超过了最先进的性能,在学习上下文大小或稀疏注意力模式方面优于最近的工作,也适用于ConvNets的高效特征学习。

成为VIP会员查看完整内容
19

相关内容

国际机器学习大会(International Conference on Machine Learning,简称ICML ) 是由国际机器学习学会(IMLS)主办的机器学习国际顶级会议,也是CCF-A类学术会议。ICML 2022 共收到5630 投稿,接收1117 篇 short oral,118篇 long oral,录用率为21.94%。
【ICML2022】几何多模态对比表示学习
专知会员服务
43+阅读 · 2022年7月17日
【ICML2022】结构感知Transformer的图表示学习
专知会员服务
47+阅读 · 2022年6月17日
【ICML2022】Transformer是元强化学习器
专知会员服务
50+阅读 · 2022年6月15日
【ICML2022】深度潜在粒子的无监督图像表示学习
专知会员服务
7+阅读 · 2022年6月6日
专知会员服务
22+阅读 · 2021年9月25日
【视频】几何数据嵌入表示学习,74页ppt
专知会员服务
32+阅读 · 2020年7月24日
Transformer文本分类代码
专知会员服务
116+阅读 · 2020年2月3日
【ICML2022】几何多模态对比表示学习
专知
1+阅读 · 2022年7月17日
论文浅尝 | 基于正交普鲁克分析的高效知识图嵌入学习
【WSDM2022】具有分层注意力的表示学习
图与推荐
1+阅读 · 2021年11月17日
【论文笔记】自注意力图池化
专知
78+阅读 · 2019年11月18日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
4+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
Arxiv
19+阅读 · 2021年4月8日
Arxiv
15+阅读 · 2020年2月5日
UNITER: Learning UNiversal Image-TExt Representations
Arxiv
23+阅读 · 2019年9月25日
Learning Embedding Adaptation for Few-Shot Learning
Arxiv
16+阅读 · 2018年12月10日
Arxiv
13+阅读 · 2017年12月5日
VIP会员
相关VIP内容
【ICML2022】几何多模态对比表示学习
专知会员服务
43+阅读 · 2022年7月17日
【ICML2022】结构感知Transformer的图表示学习
专知会员服务
47+阅读 · 2022年6月17日
【ICML2022】Transformer是元强化学习器
专知会员服务
50+阅读 · 2022年6月15日
【ICML2022】深度潜在粒子的无监督图像表示学习
专知会员服务
7+阅读 · 2022年6月6日
专知会员服务
22+阅读 · 2021年9月25日
【视频】几何数据嵌入表示学习,74页ppt
专知会员服务
32+阅读 · 2020年7月24日
Transformer文本分类代码
专知会员服务
116+阅读 · 2020年2月3日
相关基金
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
4+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
微信扫码咨询专知VIP会员