自然语言处理预训练模型的研究综述

http://cea.ceaj.org/CN/abstract/abstract39198.shtml

近年来，深度学习技术被广泛应用于各个领域，基于深度学习的预处理模型将自然语言处理带入一个新时代。预训练模型的目标是如何使预训练好的模型处于良好的初始状态，在下游任务中达到更好的性能表现。对预训练技术及其发展历史进行介绍，并按照模型特点划分为基于概率统计的传统模型和基于深度学习的新式模型进行综述；简要分析传统预训练模型的特点及局限性，重点介绍基于深度学习的预训练模型，并针对它们在下游任务的表现进行对比评估；梳理出具有启发意义的新式预训练模型，简述这些模型的改进机制以及在下游任务中取得的性能提升；总结目前预训练的模型所面临的问题，并对后续发展趋势进行展望。