复旦大学邱锡鹏等《自然语言处理范式迁移综述》论文，详述7大NLP范式：分类、匹配、SeqLab, MRC, Seq2Seq等

在深度学习时代，大多数NLP任务的建模已经趋同于几种主流范式。例如，我们通常采用序列标注范式来解决POS-tagging、NER、Chunking等大量任务，而采用分类范式来解决情感分析等任务。随着预训练语言模型的快速发展，近年来出现了范式转移的趋势，即通过将一个自然语言处理任务转换为另一个自然语言处理任务。范式迁移已经在许多任务中取得了巨大的成功，成为一种很有前景的改进模型性能的方法。此外，其中一些范例显示出了统一大量NLP任务的巨大潜力，使构建一个单一模型来处理不同的任务成为可能。在本文中，我们回顾了近年来的范式转移现象，重点介绍了几种有潜力解决不同NLP任务的范式。

https://www.zhuanzhi.ai/paper/40d5d6afe38831202ecb0ad7f0d8cf42

引言

范式是为一类任务建模的一般框架。例如，序列标记是命名实体识别的主流范式。不同的范式通常需要不同的输入和输出，因此高度依赖于任务的注释。在过去的几年里，大多数NLP任务的建模已经趋同于几个主流范式，如本文所总结的，Class, Matching, SeqLab, MRC, Seq2Seq, Seq2ASeq和(M)LM。

尽管许多任务的范式在很长一段时间内已经趋同并占主导地位，但最近的研究表明，某些范式下的模型也能很好地概括其他范式下的任务。例如，MRC范式和Seq2Seq范式也可以在NER任务上实现最先进的性能(Li et al.， 2020;Yan et al.， 2021b)，它们之前在序列标记(SeqLab)范式中被形式化。这类方法通常首先将数据集的形式转换为新范式所需的形式，然后使用新范式下的模型来解决任务。近年来，将一个自然语言处理任务转换为另一个自然语言处理任务的类似方法取得了巨大的成功，并日益受到社会的关注。在预训练语言模型(PTMs)出现之后(Devlin et al., 2019; Raffel et al., 2020; Brown et al., 2020; Qiu et al., 2020），范式转移已经在越来越多的任务中被观察到。结合这些PTMs的力量，一些范例显示出了统一不同NLP任务的巨大潜力。这些潜在的统一范式之一，(M)LM(也称为基于提示的调优)，最近取得了快速的进展，使用单个PTM作为各种理解和生成任务的通用求解器成为可能(Schick and Schutze ¨ , 2021a,b; Gao et al., 2021; Shin et al., 2020; Li and Liang, 2021; Liu et al., 2021b; Lester et al., 2021)。

尽管它们取得了成功，但这些分散在各种NLP任务中的范式转移尚未得到系统的回顾和分析。本文综述了范式转移研究的最新进展和发展趋势。本文组织如下。在第2节中，我们给出了这7个范式的形式化定义，并介绍了它们的代表性任务和实例模型。在第3节中，我们展示了最近发生在不同NLP任务中的范式转变。在第4节中，我们讨论了几个突出的范式的设计和挑战，这些范式具有统一大多数现有NLP任务的巨大潜力。在第5节中，我们简要讨论了最近的趋势和未来的方向。