【NAACL2021】长序列自然语言处理, 250页ppt

自然语言数据的一个重要子集包括跨越数千个token的文档。处理这样长的序列的能力对于许多NLP任务是至关重要的，包括文档分类、摘要、多跳和开放域问答，以及文档级或多文档关系提取和引用解析。然而，将最先进的模型扩展到较长的序列是一个挑战，因为许多模型都是为较短的序列设计的。一个值得注意的例子是Transformer模型，它在序列长度上有二次计算代价，这使得它们对于长序列任务的代价非常昂贵。这反映在许多广泛使用的模型中，如RoBERTa和BERT，其中序列长度被限制为只有512个tokens。在本教程中，我们将向感兴趣的NLP研究人员介绍最新和正在进行的文档级表示学习技术。此外，我们将讨论新的研究机会，以解决该领域现有的挑战。我们将首先概述已建立的长序列自然语言处理技术，包括层次、基于图和基于检索的方法。然后，我们将重点介绍最近的长序列转换器方法，它们如何相互比较，以及它们如何应用于NLP任务(参见Tay等人(2020)最近的综述)。我们还将讨论处理长序列的关键的各种存储器节省方法。在本教程中，我们将使用分类、问答和信息提取作为激励任务。我们还将有一个专注于总结的实际编码练习。