预训练模型是深度学习架构,已经过训练以执行大量数据上的特定任务(例如,识别图片中的分类问题)。这种训练不容易执行,并且通常需要大量资源,超出许多可用于深度学习模型的人可用的资源。

VIP内容

文本排序的目标是生成从语料库检索到的有序文本列表,以响应特定任务的查询。虽然文本排序最常见的形式是搜索,但在许多自然语言处理应用程序中也可以找到该任务的实例。

本书提供了Transformer神经网络架构的文本排序的概述,其中BERT是最著名的例子。毫不夸张地说,Transformer和自监督预训练的结合彻底改变了自然语言处理(NLP)、信息检索(IR)等领域。在文本排名的上下文中,这些模型在许多领域、任务和设置中产生高质量的结果。

在这项综述中,我们提供了现有工作的综合,作为希望更好地理解如何将transformers应用于文本排序问题的从业者和希望在这一领域继续工作的研究人员的单一切入点。我们涵盖了广泛的现代技术,分为两个高级类别:在多阶段排名体系结构中执行重新排名的transformer模型,以及尝试直接执行排名的密集表示。有许多例子属于第一类,包括基于相关性分类的方法、来自多个文本片段的证据聚合、语料库分析和序列到序列模型。虽然第二类方法还没有得到很好的研究,但使用transformers进行表示学习是一个新兴的和令人兴奋的方向,必将引起更多的关注。在我们的调研中,有两个主题贯穿始终:处理长文档的技术(在NLP中使用的典型逐句处理方法之外),以及处理有效性(结果质量)和效率(查询延迟)之间权衡的技术。

尽管transformer架构和预训练技术是最近的创新,但它们如何应用于文本排序的许多方面已经被比较好地理解,并代表了成熟的技术。然而,仍然存在许多开放的研究问题,因此,除了为文本排序预先设定训练transformers的基础之外,该调研还试图预测该领域的发展方向。

https://www.zhuanzhi.ai/paper/fe2037d3186f4dd1fe3c3ea1fb69f79e

成为VIP会员查看完整内容
0
32
Top