最新《弱监督预训练语言模型微调》报告，52页ppt

迁移学习从根本上改变了自然语言处理(NLP)的处理范式。许多最先进的模型首先在大型文本语料库上进行预先训练，然后在下游任务上进行微调。然而，当我们对下游任务的监督有限且薄弱时，由于预训练模型的复杂度极高，过度微调往往会导致微调后的模型对下游任务的训练数据进行过拟合，而不能泛化到看不到的数据。

为了解决这一问题，我们提出了一种新的方法来微调预先训练的模型，以获得更好的泛化性能。我们提出的方法采用了三个重要成分: (1)平滑诱导正则化，有效地管理了大量模型的复杂性; (2) Bregman近端点优化，它是信任域方法的一个实例，可以防止恶意更新;(3)自训练，可以逐步改进模型拟合，有效抑制误差传播。我们的实验表明，在有限或弱监督的情况下，该方法明显优于现有的NLP任务。