【AAAI2021】带有生成变换器(CGT)的对比学习三元组提取框架

2021 年 1 月 15 日 专知



编码器-解码器模型是功能强大的工具,已在许多NLP任务中获得成功,但是现有方法仍然存在两个关键问题。首先,由于递归神经网络(RNN)的固有缺陷,它们无法捕获长期依赖关系,从而导致重要信息的丢失,否则将在句子中反映出来,从而导致模型无法应用更长的文本。第二,缺乏工作致力于生成忠实的三元组,序列到序列的体系结构会产生不忠实的序列,从而产生意义上的矛盾。例如,给定句子“美国总统特朗普在纽约市皇后区长大,并居住在那里直到13岁”,该模型可以生成事实“(特朗普出生于皇后区)”。尽管从逻辑上讲是正确的,但我们无法从给定的句子中找到直接的证据来支持它。


为了解决这些问题,我们引入了带有生成变换器(CGT)的对比学习三元组提取框架,该框架是一个共享的Transformer模块,支持编码器-解码器的生成式三元组对比学习多任务学习。首先,我们使用分隔符和部分因果掩码机制将输入序列与目标序列连接起来,以区分编码器-解码器表示形式。除了预先训练的模型之外,我们的模型不需要任何其他参数。然后,我们介绍了一种新颖的三元组对比学习对象,该对象利用真实的三元组作为正实例,并利用随机令牌采样将损坏的三元组构造为负实例。为了共同优化三元组生成对象和对比学习对象,我们引入了分批动态注意掩码机制,该机制允许我们动态选择不同的对象并共同优化任务。最后,我们介绍了一种新颖的三元组校准算法,以在推理阶段滤除虚假三元组。


https://www.zhuanzhi.ai/paper/93a9d99e5778d778ce940414dd97d2e7

专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“CGT” 可以获取《【AAAI2021】带有生成变换器(CGT)的对比学习三元组提取框架》专知下载链接索引

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
0

相关内容

【AAAI2021】RSPNet: 相对速度感知的无监督视频表示学习
专知会员服务
18+阅读 · 2021年2月12日
【AAAI2021】生成式Transformer的对比三元组提取
专知会员服务
49+阅读 · 2021年2月7日
专知会员服务
21+阅读 · 2021年2月6日
【AAAI2021】用于视频描述的语义分组网络
专知会员服务
15+阅读 · 2021年2月3日
【AAAI2021】时间关系建模与自监督的动作分割
专知会员服务
36+阅读 · 2021年1月24日
专知会员服务
25+阅读 · 2021年1月21日
【AAAI2021】低资源医疗对话生成的图演化元学习
专知会员服务
47+阅读 · 2020年12月26日
【AAAI2021】 层次图胶囊网络
专知会员服务
83+阅读 · 2020年12月18日
【MIT】硬负样本的对比学习
专知
13+阅读 · 2020年10月15日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
【ICML2020】小样本目标检测
专知
7+阅读 · 2020年6月2日
Arxiv
8+阅读 · 2020年10月9日
AdarGCN: Adaptive Aggregation GCN for Few-Shot Learning
Arxiv
5+阅读 · 2019年8月22日
Arxiv
9+阅读 · 2018年10月24日
Arxiv
6+阅读 · 2018年3月28日
VIP会员
相关VIP内容
【AAAI2021】RSPNet: 相对速度感知的无监督视频表示学习
专知会员服务
18+阅读 · 2021年2月12日
【AAAI2021】生成式Transformer的对比三元组提取
专知会员服务
49+阅读 · 2021年2月7日
专知会员服务
21+阅读 · 2021年2月6日
【AAAI2021】用于视频描述的语义分组网络
专知会员服务
15+阅读 · 2021年2月3日
【AAAI2021】时间关系建模与自监督的动作分割
专知会员服务
36+阅读 · 2021年1月24日
专知会员服务
25+阅读 · 2021年1月21日
【AAAI2021】低资源医疗对话生成的图演化元学习
专知会员服务
47+阅读 · 2020年12月26日
【AAAI2021】 层次图胶囊网络
专知会员服务
83+阅读 · 2020年12月18日
Top
微信扫码咨询专知VIP会员