注意力机制综述

现在注意力机制已广泛地应用在深度学习的诸多领域。基于注意力机制的结构模型不仅能够记录信息间的位置关系，还能依据信息的权重去度量不同信息特征的重要性。通过对信息特征进行相关与不相关的抉择建立动态权重参数，以加强关键信息弱化无用信息，从而提高深度学习算法效率同时也改进了传统深度学习的一些缺陷。因此从图像处理领域、自然语言处理、数据预测等不同应用方面介绍了一些与注意力机制结合的算法结构，并对近几年大火的基于注意力机制的transformer和reformer算法进行了综述。鉴于注意力机制的重要性，综述了注意力机制的研究发展，分析了注意力机制目前的发展现状并探讨了该机制未来可行的研究方向。