Fast.ai推出NLP最新迁移学习方法「微调语言模型」，可将误差减少超过20%！

可以这样说，迁移学习已经促使计算机视觉领域发生了具有革命性的变化，但对于自然语言处理（NLP）中的现有方法来说，仍然需要从零开始对其进行针对于特定任务的修改和训练。我们提出了微调语言模型（Fine-tuned Language Models，FitLaM），这是一种有效的迁移学习方法，可以应用于NLP中的任何任务，并且引入一些关键技术以对现有最先进的语言模型进行微调。我们的方法在五个文本分类任务上的性能表现要明显优于现有最先进的技术，在大多数数据集上的实施中能够将误差减少18-24％。我们对我们的预训练模型和代码进行了开源设置，以便社区采用，使该方法具有更为广泛的应用。

 

迁移学习对于计算机视觉（CV）的发展起着很大的作用。应用型CV模型（包括目标检测、分类和分割）很少是从零开始进行训练的，而是对已经在ImageNet、MS-COCO和其他数据集上进行预训练的模型进行细微调整得到的（Sharif Razavian等人于2014年、Long等人于2015年、He等人于2016年、Huang等人于2017年提出）。

转自：雷克世界

完整内容请点击“阅读原文”