【AAAI2022】注意力机制的快速蒙特卡罗近似

我们引入蒙特卡罗注意力(MCA)，这是一种用于降低Transformer架构中自注意机制的计算成本的随机近似方法。MCA利用了输入序列中每个标记的重要性随它们的注意力分数而变化的事实;因此，当编码低关注度的标记时，一定程度的错误是可以容忍的。利用近似矩阵乘法，MCA应用不同的误差边界对输入标记进行编码，使得那些注意力得分较低的标记的计算精度较低，而显著元素的误差最小。MCA可以与其他注意力优化方案并行运行，且不需要修改模型。我们研究了理论误差范围，并证明了在GLUE基准中，MCA将各种Transformer模型的注意力复杂度(FLOPS)降低了11倍，而不影响模型精度。

https://www.zhuanzhi.ai/paper/6b33480c8d45b3826128eb0c336d1070

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“FMCA” 就可以获取《【AAAI2022】注意力机制的快速蒙特卡罗近似》专知下载链接

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取70000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取70000+AI主题知识资源