《Recurrent Hierarchical Topic-Guided RNN for Language Generation》,也被今年ICML录用。该论文属于自然语言处理领域。语言模型是各种自然语言处理任务的关键组成部分,其主要目的是捕获单词序列的分布,但它们通常忽略了文档中句子的顺序和文档上下文。在语言建模中,如何寻找更好的方法,既能捕捉单词之间的顺序,又能捕捉全局语义信息是比较有挑战的问题。不同于语言模型,主题模型是用来在一系列文档中发现抽象主题的一种统计模型。主题模型可以提取具有全局语义的隐表示,但是它们通常将每个文档视为一袋单词(BoW),忽略了单词之间的顺序。

因此针对上述讨论的语言模型的问题,以及主题模型和语言模型各自的优势,本次研究提出使用深层时序主题模型来指导语言模型进行建模(rGBN-RNN)。如图1(a)所示,所提模型由两个关键部分组成:(1)一个层次递归主题模型(rGBN);(2)一个基于多层RNN的语言模型(RNN)。主题模型用于捕获跨文档的全局语义和文档中句子间的长期依赖关系,而语言模型用于学习句子中单词之间的局部语法关系。

![](https://cdn.zhuanzhi.ai/vfiles/ed8aef3746e3c4d4d24e4ebf0c99a711)   

图1 rGBN-RNN模型的总体结构,由解码器(rGB和语言模型)和编码器(变分时序推理)两部分构成,红色箭头表示主题权向量的推理,黑色箭头表示数据生成。

如图1(b)所示,所提模型将层次时序的主题权重向量作为额外输入集成到语言模型中。因此不同于传统的基于RNN的语言模型,所提出的模型不仅捕获句子内的单词依赖关系,而且捕获句子之间的相关性,同时利用主题模型考虑了文本的全局语义信息。为了进行推理,本次工作提出了随机梯度马尔科夫链蒙特卡洛和递归变分自编码的混合算法。图1(c)展示了rGBN-RNN的整个框架,包含了生成模型(编码器)和推理模型(解码器)。如图2所示,我们利用新闻数据训练三层rGBN-RNN,并将学习到的层次主题以及这些主题指导生成的句子进行了可视化。一方面,rGBN-RNN能够捕捉到不同层次主题之间可解释的层次关系,以及同一层次主题之间的时间关系(如图中彩色实线框所示)。另一方面,如图中虚线框所示,依据一个或者多个主题生成的句子大部分与相应主题高度相关。这种相关不一定在关键字的相似,更多是语义内容的接近,表明层次时序的主题能够成功地引导语言模型。这些观察结果表明,rGBN-RNN能够成功地捕获自然语言生成所需要的语法和全局语义信息。此外,模型还能生成语法正确、语义连贯的句子和段落。

图1(三层rGBN-RNN基于APNEWS(新闻)数据集推断出的主题,以及在主题指导下生成的句子。由上至下,第3层、第2层、第1层主题分别用橙色、黄色和蓝色实线框表示,生成的句子用虚线框表示,虚线框中标注了生成句子所用的主题索引号。图的底部是由不同层次的主题组合生成的句子。

成为VIP会员查看完整内容
21

相关内容

【神经语言生成:形式化,方法与评价,70页pdf】
专知会员服务
35+阅读 · 2020年8月8日
【ICML2020】统一预训练伪掩码语言模型
专知会员服务
25+阅读 · 2020年7月23日
【ICML2020-浙江大学】对抗性互信息的文本生成
专知会员服务
43+阅读 · 2020年7月4日
[ICML2020]层次间消息传递的分子图学习
专知会员服务
33+阅读 · 2020年6月27日
【ICML2020-华为港科大】RNN和LSTM有长期记忆吗?
专知会员服务
73+阅读 · 2020年6月25日
【ICML2020】持续终身学习的神经主题建模
专知会员服务
36+阅读 · 2020年6月22日
【IJCAI2020-CMU】结构注意力的神经抽象摘要
专知会员服务
21+阅读 · 2020年4月23日
实验室学生参加 IJCAI 2019会议并做报告
inpluslab
16+阅读 · 2019年8月25日
基于图卷积文本模型的跨模态信息检索
专知
9+阅读 · 2019年8月3日
赛尔原创 | ACL 2019 检索增强的对抗式回复生成
哈工大SCIR
12+阅读 · 2019年7月4日
论文浅尝 | 基于图注意力的常识对话生成
开放知识图谱
8+阅读 · 2019年2月5日
论文解读 | 基于递归联合注意力的句子匹配模型
赛尔推荐 | 第17期
哈工大SCIR
8+阅读 · 2018年5月18日
Relational recurrent neural networks
Arxiv
8+阅读 · 2018年6月28日
Arxiv
3+阅读 · 2018年5月11日
Arxiv
6+阅读 · 2018年2月24日
VIP会员
相关VIP内容
【神经语言生成:形式化,方法与评价,70页pdf】
专知会员服务
35+阅读 · 2020年8月8日
【ICML2020】统一预训练伪掩码语言模型
专知会员服务
25+阅读 · 2020年7月23日
【ICML2020-浙江大学】对抗性互信息的文本生成
专知会员服务
43+阅读 · 2020年7月4日
[ICML2020]层次间消息传递的分子图学习
专知会员服务
33+阅读 · 2020年6月27日
【ICML2020-华为港科大】RNN和LSTM有长期记忆吗?
专知会员服务
73+阅读 · 2020年6月25日
【ICML2020】持续终身学习的神经主题建模
专知会员服务
36+阅读 · 2020年6月22日
【IJCAI2020-CMU】结构注意力的神经抽象摘要
专知会员服务
21+阅读 · 2020年4月23日
微信扫码咨询专知VIP会员