会员服务
利用注意力机制来“动态”地生成不同连接的权重，这就是自注意力模型（Self-Attention Model）. 注意力机制模仿了生物观察行为的内部过程，即一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。注意力机制可以快速提取稀疏数据的重要特征，因而被广泛用于自然语言处理任务，特别是机器翻译。而自注意力机制是注意力机制的改进，其减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性
万字长文解读：从Transformer到ChatGPT，通用人工智能曙光初现
万字长文解读：从Transformer到ChatGPT，通用人工智能曙光初现
CSDN
11+阅读 · 2023年4月12日
比标准Attention快197倍！Meta推出多头注意力机制“九头蛇”
比标准Attention快197倍！Meta推出多头注意力机制“九头蛇”
量子位
0+阅读 · 2022年9月19日
挖掘极致，将head数设置为特征数，Meta AI多头高效注意力模块更准、更快
挖掘极致，将head数设置为特征数，Meta AI多头高效注意力模块更准、更快
机器之心
0+阅读 · 2022年9月18日
ECCV 2022 | 清华&Meta提出HorNet，用递归门控卷积进行高阶空间相互作用
ECCV 2022 | 清华&Meta提出HorNet，用递归门控卷积进行高阶空间相互作用
PaperWeekly
0+阅读 · 2022年9月13日
ECCV 2022 | 清华&Meta提出HorNet，用递归门控卷积进行高阶空间相互作用
ECCV 2022 | 清华&Meta提出HorNet，用递归门控卷积进行高阶空间相互作用
机器之心
0+阅读 · 2022年9月8日
《视觉Transformer》最新简明综述，概述视觉Transformers 的不同架构设计和训练技巧
《视觉Transformer》最新简明综述，概述视觉Transformers 的不同架构设计和训练技巧
专知
3+阅读 · 2022年7月8日
ICLR 2022 | 基于对抗自注意力机制的预训练语言模型
ICLR 2022 | 基于对抗自注意力机制的预训练语言模型
PaperWeekly
1+阅读 · 2022年7月6日
Uber 是如何使用深度学习预计到达时间的？
Uber 是如何使用深度学习预计到达时间的？
AI前线
0+阅读 · 2022年6月1日
【ICML2022】超立方Transformers：你需要什么样的密集图来集中自注意力?
【ICML2022】超立方Transformers：你需要什么样的密集图来集中自注意力?
专知
0+阅读 · 2022年5月31日
CVPR 2022 Oral｜百度&中科院开源新的视觉Transformer：卷积与自注意力的完美结合
CVPR 2022 Oral｜百度&中科院开源新的视觉Transformer：卷积与自注意力的完美结合
极市平台
0+阅读 · 2022年4月29日
超越Swin！百度&港大提出BOAT：双边局部注意力视觉Transformer
超越Swin！百度&港大提出BOAT：双边局部注意力视觉Transformer
CVer
0+阅读 · 2022年4月28日
媲美全局注意力！百度、港大提出双边局部注意力ViT：引入特征空间，显著降低计算量
媲美全局注意力！百度、港大提出双边局部注意力ViT：引入特征空间，显著降低计算量
PaperWeekly
0+阅读 · 2022年4月28日
引入特征空间，显著降低计算量：双边局部注意力ViT性能媲美全局注意力
引入特征空间，显著降低计算量：双边局部注意力ViT性能媲美全局注意力
机器之心
1+阅读 · 2022年4月27日
超越Swin、ConvNeXt！PAIR提出NAT：相邻注意力Transformer
超越Swin、ConvNeXt！PAIR提出NAT：相邻注意力Transformer
CVer
0+阅读 · 2022年4月26日
识别形式语言能力不足，不完美的Transformer要克服自注意力的理论缺陷
识别形式语言能力不足，不完美的Transformer要克服自注意力的理论缺陷
机器之心
1+阅读 · 2022年4月13日
参考链接
父主题
注意力机制
微信扫码咨询专知VIP会员
Top