【ICML2020-西电】用于语言生成的递归层次主题引导RNN

《Recurrent Hierarchical Topic-Guided RNN for Language Generation》，也被今年ICML录用。该论文属于自然语言处理领域。语言模型是各种自然语言处理任务的关键组成部分，其主要目的是捕获单词序列的分布，但它们通常忽略了文档中句子的顺序和文档上下文。在语言建模中，如何寻找更好的方法，既能捕捉单词之间的顺序，又能捕捉全局语义信息是比较有挑战的问题。不同于语言模型，主题模型是用来在一系列文档中发现抽象主题的一种统计模型。主题模型可以提取具有全局语义的隐表示，但是它们通常将每个文档视为一袋单词(BoW)，忽略了单词之间的顺序。

因此针对上述讨论的语言模型的问题，以及主题模型和语言模型各自的优势，本次研究提出使用深层时序主题模型来指导语言模型进行建模（rGBN-RNN）。如图1(a)所示，所提模型由两个关键部分组成:(1)一个层次递归主题模型（rGBN）；(2)一个基于多层RNN的语言模型（RNN）。主题模型用于捕获跨文档的全局语义和文档中句子间的长期依赖关系，而语言模型用于学习句子中单词之间的局部语法关系。

![](https://cdn.zhuanzhi.ai/vfiles/ed8aef3746e3c4d4d24e4ebf0c99a711)   

图1 rGBN-RNN模型的总体结构，由解码器(rGB和语言模型)和编码器(变分时序推理)两部分构成，红色箭头表示主题权向量的推理，黑色箭头表示数据生成。

如图1(b)所示，所提模型将层次时序的主题权重向量作为额外输入集成到语言模型中。因此不同于传统的基于RNN的语言模型，所提出的模型不仅捕获句子内的单词依赖关系，而且捕获句子之间的相关性，同时利用主题模型考虑了文本的全局语义信息。为了进行推理，本次工作提出了随机梯度马尔科夫链蒙特卡洛和递归变分自编码的混合算法。图1(c)展示了rGBN-RNN的整个框架，包含了生成模型（编码器）和推理模型（解码器）。如图2所示，我们利用新闻数据训练三层rGBN-RNN，并将学习到的层次主题以及这些主题指导生成的句子进行了可视化。一方面，rGBN-RNN能够捕捉到不同层次主题之间可解释的层次关系，以及同一层次主题之间的时间关系（如图中彩色实线框所示）。另一方面，如图中虚线框所示，依据一个或者多个主题生成的句子大部分与相应主题高度相关。这种相关不一定在关键字的相似，更多是语义内容的接近，表明层次时序的主题能够成功地引导语言模型。这些观察结果表明，rGBN-RNN能够成功地捕获自然语言生成所需要的语法和全局语义信息。此外，模型还能生成语法正确、语义连贯的句子和段落。

图1（三层rGBN-RNN基于APNEWS（新闻）数据集推断出的主题，以及在主题指导下生成的句子。由上至下，第3层、第2层、第1层主题分别用橙色、黄色和蓝色实线框表示，生成的句子用虚线框表示，虚线框中标注了生成句子所用的主题索引号。图的底部是由不同层次的主题组合生成的句子。