赛尔原创 | EMNLP 2019融合行、列和时间维度信息的层次化编码模型进行面向结构化数据的文本生成

论文名称：Table-to-Text Generation with Effective Hierarchical Encoder on Three Dimensions (Row, Column and Time)

论文作者：龚恒，冯骁骋，秦兵，刘挺
原创作者：龚恒
下载链接：https://www.aclweb.org/anthology/D19-1310/
转载须注明出处：哈工大SCIR

1.任务

面向结构化数据的文本生成技术是文本生成的重要研究任务之一，其目标是由计算机根据给定的结构化数据自动生成相关的描述性文本。Gatt[1]等人的研究表明，文字描述要比数据和图表能更好的帮助用户对其进行理解和决策。如图1所示，输入的结构化数据包括某场体育赛事中球员和球队的相关统计数据，输出的是有关的赛事报道。

图1 ROTOWIRE数据集中的一个例子。左侧为输入的球队/球员的统计数据，右上为基线模型生成的结果，右下为参考文本。

2.背景和动机

近几年，ROTOWIRE数据集受到了研究者的关注。相比而言，它输入的结构化数据包括628个三元组（<球队/球员名，数据类型，数据值>），输出的文本（测试集）平均包含约24个三元组的信息。这意味着模型内容选择的能力是生成高质量赛事报道的关键之一。Wiseman[2]等人在提出这个数据集的时候探索了Joint Copy和Conditional Copy两种拷贝机制的效果，发现后者的效果较好。Li[3]等人通过首先生成模版，然后进行填槽的方法提升模型准确描述表格信息的能力。Nie[4]等人通过引入预定义的操作符计算得到的结果，增强生成高保真度文本的能力。Puduppully[5]等人提出两步生成模型，通过首先进行内容选择和规划，然后进行文本生成，提高了模型内容选择的能力。今年的ACL会议上，Puduppullyp[6]等人通过对实体进行建模，Iso [7]等人提出跟踪和生成模块进一步增强模型的性能。

但是，这些方法更关注解码时候的改进，在对表格进行建模的时候大多将628个三元组分别进行建模或视为一个长序列进行建模。我们认为，表格的建模方式仍有提升的空间。因为（1）表格包含行和列的结构信息，分别反映一个球队/球员的所有信息以及一类数据（如得分）不同球员的表现。将所有的信息视为一个长序列或者分开建模丢失了这种丰富的结构信息。（2）表格中的数值数据其实是一种时序信息。例如，多场比赛中某一个球员的得分数据的变化可以反映这个球员发挥水平的变化。

为了解决上面提到的问题，我们提出了一个层次化编码器同时建模表格的行、列和时间维度的信息。3.2和3.3对该方法进行了详细介绍。

3.方法

3.1 基线模型

基线模型采用的是基于注意力机制和条件拷贝机制（conditional copy）的序列到序列模型。对于每个三元组信息以及额外增加的一个球队/球员是否主场作战的特征，采用多层感知器进行建模：,

其中，代表这个三元组球员/球队名的embedding，代表数据类型的embedding，代表数值的embedding，代表特征的embedding，和是训练参数，接下来用表示编码得到的三元组表示。基于Luong[8]等人提出的基于注意力机制的序列到序列模型，可以得到解码器第t步的状态和attention后得到的状态。条件拷贝机制将第t步生成各个词的概率分解成两个部分：从表格拷贝和从词表生成。其中是预测当前步应该从表格中进行拷贝的概率。代表用attention得到的权重作为具体拷贝某个词的概率。是根据解码器attention后得到的状态预测的从词表中生成某个词的概率。

3.2 三层层次化编码器

为了改进现有模型对表格的建模，我们提出三层层次化编码器。

（1）  第一层：分别采用自注意力机制表示一个三元组数据与和它同行数据之间的关系、同列数据之间的关系以及和历史数据之间的关系。由于历史数据具有时序性，所以在对历史数据建模的时候，我们加入了Position Embedding。

以行维度的表示为例：

（2）  第二层：我们采用了一个融合门机制将三元组来自行、列和时间维度的信息进行融合。首先通过多层感知器得到三元组来自行、列和时间维度的总体表示。然后通过对比，计算针对这个三元组，它的行、列以及时间维度表示的重要性，最后通过加权求和得到最终的三元组表示。用新得到的替换基线模型中的。以列维度的重要性为例：

（3）  第三层：我们通过三元组表示的池化以及门机制[5]，得到表格中每一行（球队/球员）的表示。

3.3 双注意力机制

由于层次化解码器提供了每一行（球队/球员）的表示，以及每一个三元组数据的表示，解码阶段，首先通过注意力机制从每一行（球队/球员）的表示中找到重要的信息，然后对每一行对应的数据通过注意力机制找到重要的具体三元组信息进行生成。

图2 融合行、列和时间维度信息的三层层次化编码器框架图

4. 实验

4.1  数据集

我们采用公开的ROTOWIRE数据集进行训练和测试，训练、开发和测试集的划分依照提出这个数据集的论文[2]进行。

4.2  评价指标

除了文本生成任务上常用的基于N-Gram匹配计算的BLEU值以外，Wiseman[2]等人提出通过训练一个信息抽取模型，从生成的文本中抽取三元组，和表格以及参考文本进行对比进行评价，得到RG、CS和CO三类指标。其中，RG通过对比生成的文本中抽取三元组和表格中的信息判断生成的内容是否正确。CS通过对比生成的文本中抽取三元组和参考文本中抽取三元组，判断生成的内容包含重要信息的能力，CO也是通过对比生成文本中抽取的三元组和参考文本中抽取的三元组判断生成的文本对于信息的排列是否自然。

人工评价部分，我们做了两组实验。第一组实验我们要求评价者统计各个句子里包含的正确的三元组数量（#Sup），以及和表格中的信息冲突的三元组数量（#Cont）。第二组实验我们每次给评价者两个不同模型生成的赛事报道，要求他们从语法（Gram）,连贯性（Coher）和简明性（Conc）三个角度判断哪个结果最佳。图4中报告的数值是各个模型被判定更好的比例减去被判定较差的比例。

4.3  自动化评价结果

我们对比了基线模型、基于模版生成的结果、截止投稿时该数据集上的SOTA模型，一系列层次化编码模型，并且进行了消融实验，分析我们提出的模型中各个部件的影响，发现：

（1）  在开发集和测试集上我们的模型在RG的准确率、CS的F1值、CO和BLEU上超越了之前的模型。

（2）  和层次化编码模型的对比体现了引入列和时间维度的信息有助于提升模型的效果。

（3）  消融实验表明各个组件都对最终提升模型性有帮助。

图3 自动化评价结果

4.4 人工评价结果

我们对比了我们的模型和基线模型（CC）、SOTA NCP+CC模型、基于模版生成的结果和参考文本生成的结果，发现：

（1）  相比于另外两个基于神经网络的模型，我们的模型生成更少的错误信息。

（2）  相比于另外两个基于神经网络的模型，我们的模型在语法（Gram）,连贯性（Coher）和简明性（Conc）上表现更好。

图4 人工评价结果

4.5 生成案例

图5生成的案例体现了我们模型生成的文本中的一些优势：

（1）  正确的选出了图1所示基线模型没能选出的重要的球员Al Jefferson，这需要模型正确理解不同球员之间表现水平的关系（列维度的信息）。

（2）  正确提到了Al Jefferson拿到了“两双”，这需要模型捕捉这个球员各项数据之间的关系（行维度的信息）。

（3）  正确提到这是他三场比赛中第二次拿到这样的数据，这需要模型建模历史数据（时间维度的信息）。

图5 生成案例

5. 结论

本文中，我们提出了一个有效的层次化编码器模型，同时建模表格的行、列和时间维度的信息，并且在解码时首先选择重要的球队/球员（行），然后再选择重要的数据。自动化评价指标和人工评价结果均表明我们的模型相比之前的模型在生成正确文本、内容选择能力上得到提升。

参考文献

[1]Albert Gatt, Francois Portet, EhudReiter, James Hunter, Saad Mahamood, Wendy Moncur, and Somayajulu Sripada.2009. From Data to Text in the Neonatal Intensive Care Unit: Using NLGTechnology for Decision Support and Information Management. AI Communications, 22:153-186.

[2]Sam Wiseman, Stuart Shieber, andAlexander Rush. 2017. Challenges in data-to-document generation. In Proceedingsof the 2017 Conference on Empirical Methods in Natural Language Processing,pages 2253–2263. ACL.

[3]Liunian Li and Xiaojun Wan. 2018. Pointprecisely: Towards ensuring the precision of data in generated texts usingdelayed copy mechanism. In Proceedings of the 27th International Conference onComputational Linguistics, pages 1044–1055. ACL.

[4]Feng Nie, Jinpeng Wang, Jin-Ge Yao,Rong Pan, and Chin-Yew Lin. 2018. Operation-guided neural networks for highfidelity data-to-text generation. In Proceedings of the 2018 Conference onEmpirical Methods in Natural Language Processing, pages 3879–3889. ACL.

[5]Ratish Puduppully, Li Dong, and MirellaLapata. 2019. Data-to-text generation with content selection and planning. InProceedings of the AAAI Conference on Artificial Intelligence, pages 6908–6915.Association for the Advancement of Artificial Intelligence.

[6]Ratish Puduppully, Li Dong, and MirellaLapata. 2019. Data-to-text Generation with Entity Modeling. In Proceedings ofthe 57th Annual Meeting of the Association for Computational Linguistics, pages2023-2035. ACL.

[7]Hayate Iso, Yui Uehara, TatsuyaIshigaki, Hiroshi Noji, Eiji Aramaki, Ichiro Kobayashi, Yusuke Miyao, NaoakiOkazaki, and Hiroya Takamura. 2019. Learning to Select, Track, and Generate forData-to-Text. In Proceedings of the 57th Annual Meeting of the Association forComputational Linguistics, pages 2102-2113. ACL.

[8]Thang Luong, Hieu Pham, and ChristopherD. Manning. 2015. Effective approaches to attention-based neural machinetranslation. In Proceedings of the 2015 Conference on Empirical Methods inNatural Language Processing, pages 1412–1421. ACL.

延伸阅读

哈工大SCIR八篇论文被EMNLP-IJCNLP 2019录用

赛尔原创 | EMNLP 2019 常识信息增强的事件表示学习

赛尔原创 | EMNLP 2019 基于上下文感知的变分自编码器建模事件背景知识进行If-Then类型常识推理

赛尔原创 | EMNLP 2019 结合单词级别意图识别的stack-propagation框架进行口语理解

赛尔原创 | EMNLP 2019 跨语言机器阅读理解

本期责任编辑：丁　效

本期编辑：冯梓娴

本文转载自公众号：哈工大SCIR，作者哈工大SCIR    

推荐阅读

200行写一个自动微分工具

Google工业风最新论文, Youtube提出双塔结构流式模型进行大规模推荐

揭开YouTube深度推荐系统模型Serving之谜

经典！工业界深度推荐系统与CTR预估必读的论文汇总

Google T5速读

T5 模型：NLP Text-to-Text 预训练模型超大规模探索

关于AINLP

AINLP 是一个有趣有AI的自然语言处理社区，专注于 AI、NLP、机器学习、深度学习、推荐算法等相关技术的分享，主题包括文本摘要、智能问答、聊天机器人、机器翻译、自动生成、知识图谱、预训练模型、推荐系统、计算广告、招聘信息、求职经验分享等，欢迎关注！加技术交流群请添加AINLP君微信(id：AINLP2)，备注工作/研究方向+加群目的。