【AAAI2021】生成式Transformer的对比三元组提取

2021 年 2 月 8 日 专知


在自然语言处理和知识图构造的信息提取中,三次提取是必不可少的任务。在本文中,我们将重新审视用于序列生成的端到端三重提取任务。由于生成三元组提取可能难以捕获长期依赖关系并生成不忠实的三元组,因此我们引入了一种新颖的模型,即使用生成Transformer的对比三元组提取。具体来说,我们介绍了一个共享的Transformer模块,用于基于编码器-解码器的生成。为了产生忠实的结果,我们提出了一种新颖的三重态对比训练对象。此外,我们引入了两种机制来进一步提高模型性能(即,批量动态注意遮罩和三级校准)。在三个数据集(即NYT,WebNLG和MIE)上的实验结果表明,我们的方法比基线具有更好的性能。


https://www.zhuanzhi.ai/paper/b8ed53721b7162af43614d558adb9c58


专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“CTE” 可以获取《【AAAI2021】生成式Transformer的对比三元组提取》专知下载链接索引

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
11

相关内容

专知会员服务
22+阅读 · 2021年3月23日
【AAAI2021】知识图谱增强的预训练模型的生成式常识推理
【AAAI2021】时间关系建模与自监督的动作分割
专知会员服务
36+阅读 · 2021年1月24日
【AAAI2021】对话推理:上下文阅读理解提升回复生成
专知会员服务
43+阅读 · 2021年1月23日
【AAAI2021】记忆门控循环网络
专知会员服务
47+阅读 · 2020年12月28日
【AAAI2021】层次推理图神经网络
专知会员服务
68+阅读 · 2020年12月27日
【AAAI2021】 层次图胶囊网络
专知会员服务
80+阅读 · 2020年12月18日
【AAAI2021】“可瘦身”的生成式对抗网络
专知会员服务
12+阅读 · 2020年12月12日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
【KDD2020】图神经网络生成式预训练
专知
21+阅读 · 2020年7月3日
【ICML2020】对比多视角表示学习
专知
18+阅读 · 2020年6月28日
注意力图神经网络的多标签文本分类
专知
8+阅读 · 2020年3月28日
Arxiv
9+阅读 · 2021年2月8日
Arxiv
15+阅读 · 2020年2月5日
The Evolved Transformer
Arxiv
5+阅读 · 2019年1月30日
Conditional BERT Contextual Augmentation
Arxiv
8+阅读 · 2018年12月17日
Arxiv
13+阅读 · 2018年4月18日
VIP会员
相关VIP内容
专知会员服务
22+阅读 · 2021年3月23日
【AAAI2021】知识图谱增强的预训练模型的生成式常识推理
【AAAI2021】时间关系建模与自监督的动作分割
专知会员服务
36+阅读 · 2021年1月24日
【AAAI2021】对话推理:上下文阅读理解提升回复生成
专知会员服务
43+阅读 · 2021年1月23日
【AAAI2021】记忆门控循环网络
专知会员服务
47+阅读 · 2020年12月28日
【AAAI2021】层次推理图神经网络
专知会员服务
68+阅读 · 2020年12月27日
【AAAI2021】 层次图胶囊网络
专知会员服务
80+阅读 · 2020年12月18日
【AAAI2021】“可瘦身”的生成式对抗网络
专知会员服务
12+阅读 · 2020年12月12日
相关论文
Arxiv
9+阅读 · 2021年2月8日
Arxiv
15+阅读 · 2020年2月5日
The Evolved Transformer
Arxiv
5+阅读 · 2019年1月30日
Conditional BERT Contextual Augmentation
Arxiv
8+阅读 · 2018年12月17日
Arxiv
13+阅读 · 2018年4月18日
Top
微信扫码咨询专知VIP会员