【AAAI2021】知识图谱增强的预训练模型的生成式常识推理

2021 年 1 月 25 日 专知


生成式常识推理是文本生成的一个关键瓶颈,它旨在使机器能够根据一组概念生成具有推理能力的句子。即使是最先进的预训练语言生成模型也难以完成这一任务,而且常常产生不合逻辑和异常的句子。其中一个原因是,他们很少考虑将知识图谱整合进来,因为知识图谱可以在常识概念之间提供丰富的关系信息。为了提高常识性推理生成文本的能力,我们提出了一种新的知识图谱增强的预训练语言生成模型KG-BART,该模型通过知识图谱包含了复杂的概念关系,并生成了更符合逻辑和自然的句子作为输出。此外,KG-BART可以利用图上的注意力来聚集丰富的概念语义,从而增强对看不见的概念集的模型泛化。在基准commonen数据集上进行的实验验证了本文方法的有效性,并与几个强的预训练语言生成模型进行了比较,特别是在BLEU - 3,4方面,KG-BART的性能比BART高出5.80、4.60。此外,我们还表明,通过我们的模型生成的上下文可以作为背景场景,从而有利于下游的常识性QA任务。


https://www.zhuanzhi.ai/paper/5478cc149a0d6a523665d68c6d3c170a



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“KGBART” 可以获取【AAAI2021】知识图谱增强的预训练模型的生成式常识推理专知下载链接索引

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
26

相关内容

【CVPR2021】基于端到端预训练的视觉-语言表征学习
专知会员服务
37+阅读 · 2021年4月9日
【AAAI2021】生成式Transformer的对比三元组提取
专知会员服务
49+阅读 · 2021年2月7日
专知会员服务
21+阅读 · 2021年2月6日
【AAAI2021】知识增强的视觉-语言预训练技术 ERNIE-ViL
专知会员服务
25+阅读 · 2021年1月29日
【AAAI2021】对话推理:上下文阅读理解提升回复生成
专知会员服务
43+阅读 · 2021年1月23日
专知会员服务
13+阅读 · 2021年1月18日
【AAAI2021】记忆门控循环网络
专知会员服务
48+阅读 · 2020年12月28日
【AAAI2021】 层次图胶囊网络
专知会员服务
83+阅读 · 2020年12月18日
【EMNLP2020-清华】基于常识知识图谱的多跳推理语言生成
专知会员服务
73+阅读 · 2020年9月25日
【KDD2020】动态知识图谱的多事件预测
专知
88+阅读 · 2020年8月31日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
注意力图神经网络的多标签文本分类
专知
8+阅读 · 2020年3月28日
Arxiv
8+阅读 · 2020年10月9日
Weight Poisoning Attacks on Pre-trained Models
Arxiv
5+阅读 · 2020年4月14日
Arxiv
15+阅读 · 2019年9月11日
Arxiv
11+阅读 · 2019年6月19日
Arxiv
4+阅读 · 2019年5月1日
Arxiv
9+阅读 · 2018年10月24日
VIP会员
相关VIP内容
【CVPR2021】基于端到端预训练的视觉-语言表征学习
专知会员服务
37+阅读 · 2021年4月9日
【AAAI2021】生成式Transformer的对比三元组提取
专知会员服务
49+阅读 · 2021年2月7日
专知会员服务
21+阅读 · 2021年2月6日
【AAAI2021】知识增强的视觉-语言预训练技术 ERNIE-ViL
专知会员服务
25+阅读 · 2021年1月29日
【AAAI2021】对话推理:上下文阅读理解提升回复生成
专知会员服务
43+阅读 · 2021年1月23日
专知会员服务
13+阅读 · 2021年1月18日
【AAAI2021】记忆门控循环网络
专知会员服务
48+阅读 · 2020年12月28日
【AAAI2021】 层次图胶囊网络
专知会员服务
83+阅读 · 2020年12月18日
【EMNLP2020-清华】基于常识知识图谱的多跳推理语言生成
专知会员服务
73+阅读 · 2020年9月25日
Top
微信扫码咨询专知VIP会员