【复旦大学邱锡鹏教授】自然语言处理中的自注意力模型，53页ppt

自然语言处理中的自注意力模型

目前自注意力模型（比如Transformer）在自然语言处理领域取得了广泛的成功。本报告主要介绍自注意力模型方面的一些工作，主要涵盖两部分内容：1）Transformer及其改进模型：通过分析Transformer的基本原理和优缺点，提出一些改进模型Star-Transformer、Multi-Scale Transformer、BP-Transformer等。2）Transformer模型的应用：将Transformer模型应用在文本分类、实体名识别等自然语言任务上，并通过针对性的改进来进一步提高性能。最后，对Transformer模型及其未来发展趋势进行展望。