【EMNLP2020】自然语言分类任务的自监督元学习

Transformer 模型的自监督预训练已经彻底改变了NLP的应用。这种语言建模目标的预训练为参数提供了一个有用的初始化，这些参数可以很好地推广到新的任务中。然而，微调仍然是数据效率低下的——当有标记的例子很少时，准确性可能会很低。数据效率可以通过优化预训练;这可以看作是一个元学习问题。然而，标准的元学习技术需要许多训练任务才能泛化;不幸的是，找到一组不同的这样的监督任务通常是困难的。本文提出了一种自监督的方法，从无标记文本生成一个庞大的，丰富的元学习任务分布。这是使用closize风格的目标实现的，但是通过从少数词汇表术语中收集待删除的标记来创建单独的多类分类任务。这产生的唯一元训练任务与词汇术语子集的数量一样多。我们使用最近的元学习框架对任务分配的transformer模型进行元训练。在17个NLP任务中，我们表明，这种元训练比语言模型前训练后的精细化能产生更好的少样本泛化效果。此外，我们还展示了如何将自监督任务与监督任务结合起来进行元学习，从而比之前的监督元学习获得了更大的准确性。

https://arxiv.org/abs/2009.08445