在最大化源与目标之间的互信息方面的最新进展已经证明了它在文本生成方面的有效性。然而,以往的工作对MI(即MI)的后向网络建模关注较少。这对于变分信息最大化下界的紧密性至关重要。在本文中,我们提出了一个对抗互信息(AMI):一个文本生成框架,它是一个新的鞍点(min-max)优化,旨在识别源与目标之间的联合交互。在这个框架中,通过比较真实和合成的数据分布,前向网络和后向网络能够迭代地提升或降级彼此生成的实例。我们还开发了一个潜在噪声采样策略,利用高级语义空间的随机变化来增强生成过程中的长期依赖性。基于不同文本生成任务的大量实验表明,所提出的AMI框架能够显著优于多个强基线,我们还表明,AMI有可能为变分信息最大化问题带来更紧密的互信息上限。

https://www.zhuanzhi.ai/paper/ccd8403755c153d155bec032656f8c49

成为VIP会员查看完整内容
43

相关内容

专知会员服务
29+阅读 · 2020年7月31日
【ICML2020】统一预训练伪掩码语言模型
专知会员服务
25+阅读 · 2020年7月23日
【ICML2020】持续终身学习的神经主题建模
专知会员服务
36+阅读 · 2020年6月22日
【ICML2020-哈佛】深度语言表示中可分流形
专知会员服务
12+阅读 · 2020年6月2日
【CVPR2020-港中文】 图像识别中的自注意力探索
专知会员服务
55+阅读 · 2020年4月29日
【CVPR2020-CMU】无数据模型选择,一种深度框架潜力
专知会员服务
21+阅读 · 2020年4月12日
【WWW2020-UIUC】为新闻故事生成具有代表性的标题
专知会员服务
26+阅读 · 2020年3月18日
【NeurIPS2019】图变换网络:Graph Transformer Network
从无到有!自动化所提出海量虚拟数据生成新方法
中国科学院自动化研究所
5+阅读 · 2019年9月16日
【AAAI专题】中篇:BRAVE组系列研究进展之“视听模态的生成”
中国科学院自动化研究所
4+阅读 · 2018年1月25日
Adversarial Mutual Information for Text Generation
Arxiv
13+阅读 · 2020年6月30日
A Probe into Understanding GAN and VAE models
Arxiv
9+阅读 · 2018年12月13日
Arxiv
4+阅读 · 2018年4月10日
Arxiv
6+阅读 · 2018年3月12日
VIP会员
相关VIP内容
专知会员服务
29+阅读 · 2020年7月31日
【ICML2020】统一预训练伪掩码语言模型
专知会员服务
25+阅读 · 2020年7月23日
【ICML2020】持续终身学习的神经主题建模
专知会员服务
36+阅读 · 2020年6月22日
【ICML2020-哈佛】深度语言表示中可分流形
专知会员服务
12+阅读 · 2020年6月2日
【CVPR2020-港中文】 图像识别中的自注意力探索
专知会员服务
55+阅读 · 2020年4月29日
【CVPR2020-CMU】无数据模型选择,一种深度框架潜力
专知会员服务
21+阅读 · 2020年4月12日
【WWW2020-UIUC】为新闻故事生成具有代表性的标题
专知会员服务
26+阅读 · 2020年3月18日
微信扫码咨询专知VIP会员