Sentence ordering aims to arrange the sentences of a given text in the correct order. Recent work frames it as a ranking problem and applies deep neural networks to it. In this work, we propose a new method, named BERT4SO, by fine-tuning BERT for sentence ordering. We concatenate all sentences and compute their representations by using multiple special tokens and carefully designed segment (interval) embeddings. The tokens across multiple sentences can attend to each other which greatly enhances their interactions. We also propose a margin-based listwise ranking loss based on ListMLE to facilitate the optimization process. Experimental results on five benchmark datasets demonstrate the effectiveness of our proposed method.


翻译:判决顺序旨在按正确的顺序排列给定文本的句子。 最近的工作框架将它作为一个排名问题, 并对其应用深层神经网络。 在这项工作中, 我们提出一个新的方法, 名为 BERT4SO, 通过微调 BERT 来命令判刑。 我们用多个特殊标记和精心设计的段( 中间) 嵌入来计算所有的判决并计算其表达方式。 跨多个句子的标语可以相互贴上, 大大增强它们的互动。 我们还提议了一个基于 ListMLE 的基于边际列表的排序损失, 以便利优化进程。 五个基准数据集的实验结果显示了我们拟议方法的有效性 。

0
下载
关闭预览

相关内容

预训练语言模型fine-tuning近期进展概述
专知会员服务
37+阅读 · 2021年4月9日
【EMNLP2020】自然语言生成,Neural Language Generation
专知会员服务
38+阅读 · 2020年11月20日
ExBert — 可视化分析Transformer学到的表示
专知会员服务
31+阅读 · 2019年10月16日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
RoBERTa中文预训练模型:RoBERTa for Chinese
PaperWeekly
57+阅读 · 2019年9月16日
分布式并行架构Ray介绍
CreateAMind
9+阅读 · 2019年8月9日
站在BERT肩膀上的NLP新秀们(PART III)
AINLP
11+阅读 · 2019年6月18日
BERT/Transformer/迁移学习NLP资源大列表
专知
19+阅读 · 2019年6月9日
Conditional BERT Contextual Augmentation
Arxiv
8+阅读 · 2018年12月17日
Arxiv
5+阅读 · 2017年9月8日
VIP会员
Top
微信扫码咨询专知VIP会员