【AAAI 2022】用于文本摘要任务的序列级对比学习模型

用于文本摘要任务的序列级对比学习模型 Sequence Level Contrastive Learning for Text Summarization

论文摘要：自动摘要的目的是把一篇长的文档重写成一段简短的摘要保留原始文本最关键的信息。这个任务有一个特性即摘要是原始文档的一个短的版本并且跟原始文档有相近的意思。基于这个观察，我们提出了序列级别的对比学习模型 SeqCo（Sequence-level Contrastive Learning）；具体来说，我们把原始文档、人工标注的摘要及模型生成的摘要看作同一个语义表示的三个不同视角并在训练过程中最大化这三者表示之间的相似性。自动评测和人工评测实验表明 SeqCo 在多个摘要数据集上可以进一步提升基线模型 BART 的效果及提升摘要的原文忠诚度。

https://www.zhuanzhi.ai/paper/5514ef03144cc74a32c7fe4af3e1908f