会员服务
利用注意力机制来“动态”地生成不同连接的权重，这就是自注意力模型（Self-Attention Model）. 注意力机制模仿了生物观察行为的内部过程，即一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。注意力机制可以快速提取稀疏数据的重要特征，因而被广泛用于自然语言处理任务，特别是机器翻译。而自注意力机制是注意力机制的改进，其减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性
【ICML2022】超立方Transformers：你需要什么样的密集图来集中自注意力?
【ICML2022】超立方Transformers：你需要什么样的密集图来集中自注意力?
专知会员服务
17+阅读 · 2022年5月31日
【ICML2021】Lipschitz归一化自注意力以及应用到图神经网络
专知会员服务
28+阅读 · 2021年5月28日
【NeurIPS2020】针对弱监督目标检测的综合注意力自蒸馏
【NeurIPS2020】针对弱监督目标检测的综合注意力自蒸馏
专知会员服务
31+阅读 · 2020年11月12日
【CIKM2020】利用自注意力网络使搜索结果多样化
【CIKM2020】利用自注意力网络使搜索结果多样化
专知会员服务
12+阅读 · 2020年11月6日
【CVPR2020-港中文】 图像识别中的自注意力探索
【CVPR2020-港中文】 图像识别中的自注意力探索
专知会员服务
55+阅读 · 2020年4月29日
无所不能的Self-Attention！洛桑理工ICLR2020论文验证「自注意力可以表达任何CNN卷积滤波层」
无所不能的Self-Attention！洛桑理工ICLR2020论文验证「自注意力可以表达任何CNN卷积滤波层」
专知会员服务
56+阅读 · 2020年1月12日
【ICLR2020论文】自我注意力与卷积层的关系，On the Relationship between Self-Attention and Convolutional Layers
【ICLR2020论文】自我注意力与卷积层的关系，On the Relationship between Self-Attention and Convolutional Layers
专知会员服务
36+阅读 · 2020年1月12日
参考链接
父主题
注意力机制
微信扫码咨询专知VIP会员
Top