【邱锡鹏老师SMP2020教程】自然语言处理中的预训练模型，90页ppt

自然语言处理中的预训练模型

论文：【复旦大学】最新《预训练语言模型》2020综述论文大全，50+PTMs分类体系，25页pdf205篇参考文献

目前预训练模型在自然语言处理领域取得了广泛的成功。本报告的内容主要涵盖以下4部分内容：1）预训练模型的原理介绍，包括模型结构、学习准则、发展历程等；2）预训练模型的迁移方法：包括如何通过任务转换、多步迁移、改进精调等方法来进一步提高预训练模型在下游任务上的性能；3）预训练模型的改进模型：包括知识嵌入模型、多模态模型、多语言模型、语言特定模型、领域特定模型和模型压缩等；4）对预训练模型及其未来发展趋势进行展望。