面向自然语言处理任务的预训练模型综述

近年来，深度学习技术得到了快速发展。在自然语言处理（NLP）任务中，随着文本表征技术从词级上升到了文档级，利用大规模语料库进行无监督预训练的方式已被证明能够有效提高模型在下游任务中的性能。首先，根据文本特征提取技术的发展，从词级和文档级对典型的模型进行了分析；其次，从预训练目标任务和下游应用两个阶段，分析了当前预训练模型的研究现状，并对代表性的模型特点进行了梳理和归纳；最后，总结了当前预训练模型发展所面临的主要挑战并提出了对未来的展望。

http://www.joca.cn/CN/abstract/abstract24426.shtml