在自然语言处理和知识图构造的信息提取中,三次提取是必不可少的任务。在本文中,我们将重新审视用于序列生成的端到端三重提取任务。由于生成三元组提取可能难以捕获长期依赖关系并生成不忠实的三元组,因此我们引入了一种新颖的模型,即使用生成Transformer的对比三元组提取。具体来说,我们介绍了一个共享的Transformer模块,用于基于编码器-解码器的生成。为了产生忠实的结果,我们提出了一种新颖的三重态对比训练对象。此外,我们引入了两种机制来进一步提高模型性能(即,批量动态注意遮罩和三级校准)。在三个数据集(即NYT,WebNLG和MIE)上的实验结果表明,我们的方法比基线具有更好的性能。

https://www.zhuanzhi.ai/paper/b8ed53721b7162af43614d558adb9c58

成为VIP会员查看完整内容
48

相关内容

【AAAI2021】RSPNet: 相对速度感知的无监督视频表示学习
专知会员服务
18+阅读 · 2021年2月12日
AAAI2021 | 学习预训练图神经网络
专知会员服务
114+阅读 · 2021年1月28日
【AAAI2021】知识图谱增强的预训练模型的生成式常识推理
【AAAI2021】时间关系建模与自监督的动作分割
专知会员服务
36+阅读 · 2021年1月24日
专知会员服务
13+阅读 · 2021年1月18日
【AAAI2021】记忆门控循环网络
专知会员服务
47+阅读 · 2020年12月28日
【AAAI2021】层次推理图神经网络
专知会员服务
67+阅读 · 2020年12月27日
【AAAI2021】低资源医疗对话生成的图演化元学习
专知会员服务
46+阅读 · 2020年12月26日
【AAAI2021】 层次图胶囊网络
专知会员服务
80+阅读 · 2020年12月18日
【KDD2020】图神经网络生成式预训练
专知
20+阅读 · 2020年7月3日
ICML2020 图神经网络的预训练
图与推荐
12+阅读 · 2020年4月4日
WWW 2020 开源论文 | 异构图Transformer
PaperWeekly
13+阅读 · 2020年4月3日
多项NLP任务新SOTA,Facebook提出预训练模型BART
机器之心
22+阅读 · 2019年11月4日
进一步改进GPT和BERT:使用Transformer的语言模型
机器之心
16+阅读 · 2019年5月1日
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
最新论文解读 | 基于预训练自然语言生成的文本摘要方法
微软研究院AI头条
57+阅读 · 2019年3月19日
CMU、谷歌提出Transformer-XL:学习超长上下文关系
机器之心
9+阅读 · 2019年1月18日
Arxiv
0+阅读 · 2021年3月31日
Arxiv
5+阅读 · 2019年8月22日
Arxiv
6+阅读 · 2019年7月11日
Music Transformer
Arxiv
5+阅读 · 2018年12月12日
Arxiv
27+阅读 · 2018年4月12日
VIP会员
相关主题
相关VIP内容
【AAAI2021】RSPNet: 相对速度感知的无监督视频表示学习
专知会员服务
18+阅读 · 2021年2月12日
AAAI2021 | 学习预训练图神经网络
专知会员服务
114+阅读 · 2021年1月28日
【AAAI2021】知识图谱增强的预训练模型的生成式常识推理
【AAAI2021】时间关系建模与自监督的动作分割
专知会员服务
36+阅读 · 2021年1月24日
专知会员服务
13+阅读 · 2021年1月18日
【AAAI2021】记忆门控循环网络
专知会员服务
47+阅读 · 2020年12月28日
【AAAI2021】层次推理图神经网络
专知会员服务
67+阅读 · 2020年12月27日
【AAAI2021】低资源医疗对话生成的图演化元学习
专知会员服务
46+阅读 · 2020年12月26日
【AAAI2021】 层次图胶囊网络
专知会员服务
80+阅读 · 2020年12月18日
相关资讯
【KDD2020】图神经网络生成式预训练
专知
20+阅读 · 2020年7月3日
ICML2020 图神经网络的预训练
图与推荐
12+阅读 · 2020年4月4日
WWW 2020 开源论文 | 异构图Transformer
PaperWeekly
13+阅读 · 2020年4月3日
多项NLP任务新SOTA,Facebook提出预训练模型BART
机器之心
22+阅读 · 2019年11月4日
进一步改进GPT和BERT:使用Transformer的语言模型
机器之心
16+阅读 · 2019年5月1日
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
最新论文解读 | 基于预训练自然语言生成的文本摘要方法
微软研究院AI头条
57+阅读 · 2019年3月19日
CMU、谷歌提出Transformer-XL:学习超长上下文关系
机器之心
9+阅读 · 2019年1月18日
相关论文
微信扫码咨询专知VIP会员