赛尔原创@ACL 2021 | 开放域对话结构发现

论文名称：Discovering Dialog Structure Graph for Coherent Dialog Generation

论文作者：徐俊，雷泽阳，王海峰，牛正雨，吴华，车万翔

原创作者：徐俊

论文链接：https://aclanthology.org/2021.acl-long.136/

转载须标注出处：哈工大SCIR

1. 简介

从真实人-人对话中学习离散的对话结构图，有助于人们理解对话规律，同时也可以为生成通顺对话提供背景知识。然而，当前在开放域对话下，这一问题仍然缺乏研究。在本文中，我们从聊天语料库中无监督地学习离散对话结构，然后利用该结构来促进连贯的对话生成。为此，我们提出了一个无监督模型（DVAE-GNN），来发现多层次的离散对话状态（包括对话和句子层）以及学习不同对话状态之间的转移关系。其中，对话状态以及状态之间的转移关系组成了最终的对话结构图。进一步的，我们在两个基准语料库上进行实验，结果表明DVAE-GNN能够发现有意义的对话结构图，且使用对话结构作为背景知识可以显著提高开放域对话的多轮连贯性。

2. 方法

本文首先设计了一个自监督的对话结构图发现模型；进一步地，本文设计基于对话结构图的开放域多轮对话模型用于验证所发现结构的有效性。

2.1 对话结构图

在本文中，对话结构图是一个两层的有向图，捕捉了对话状态以及状态之间的转移关系。

图1 对话结构图

如图1所示，对话结构图有两类节点，分别是位于上层的捕捉了多轮会话级语义的会话级节点（图中橙色圆形节点），和位于下层的捕捉了话轮级语义的话轮级节点（图中绿色的方形节点）。进一步的，对话结构图有三类边，分别是连接连接两个会话级节点的Sess-Sess边、连接两个话轮级节点的Utter-Utter边以及连接一个会话级节点和一个话轮级节点的Sess-Utter边。

2.2 对话结构图的发现

如图2所示，本文分三步从语料库的所有多轮对话中发现一个对话图。

1. 对于语料库中的每个多轮对话，首先将对话中的每个话轮映射到图中一个下层话轮级节点，然后将整个会话映射到一个上层会话级节点。
2. 映射之后，每个多轮对话映射之后，可以获得一个会话级节点，以及一个话轮级别节点序列。收集每个多轮对话的映射结果。
3. 根据收集到的映射结果，在节点之间建边。

图2 对话结构图发现过程示意图

本文设计基于图神经网络（Graph Neural Network, GNN）和离散变分自动编码器（Discrete Variational Autoencoder, DAVE）的模型，简称DVAE-GNN，用于将一个个多轮对话映射到图中。

图3 DVAE-GNN模型结构图

如图3所示，DVAE-GNN模型主要包括两个子过程：节点识别（vertex recognition）子过程和对话重构（ utterance reconstruction ）子过程。其中节点识别子过程将多轮对话映射到图中，对话重构子过程基于映射到的节点来重构多轮对话句。直观地，为了更好的重构对话句，节点识别子过程应该尽可能的实现精准映射。

2.3 基于对话结构图的对话模型

本文将多轮对话生成建模成一个在对话结构图上游走的连续决策任务，并设计基于增强学习的对话模型。如图4所示，给定对话上文，模型首先将其映射到图中；然后，模型在映射节点的邻居中选择一个节点；最后，模型基于选定的节点生成回复句。关于对话模型的详细设计请查看论文原文。

图4 基于对话结构图的对话模型示意图

3. 实验设置和实验结果

我们在常用的公开数据集Weibo【1】和Douban【2】上开展实验。本文方法在微博语料库上发现的对话图包含约164万个话轮级节点、6000个会话级节点和1156万条边。在豆瓣语料库上发现的对话图包含约177万个话轮级节点、5500个会话级节点和612万条边。

在这项工作中，因为之前很少有关于自监督开放域对话图发现的研究，本文选择任务完成对话下的DVRNN【3】模型作为基线。DVRNN是在面向任务的对话中发现对话图的当前最好方法。本文对发现的对话图进行自动评估和人工评估。

对于自动评估，本文使用两个指标来评估对话重构的性能。直观来看，因为模型是基于中间结构去重构对话，故而对话重构的效果可以直接反映学习到的中间结果的质量。（1）NLL：生成对话句的负对数似然；(2）BLEU-1/2：度量重构句子与输入句子1/2-gram重叠的程度。这两个指标越好，则表明学习的对话图能够更好地捕获对话数据集中的重要语义信息。

此外，本文也人工评估了图中边和节点的质量。对于边，（1）S-U Appr. ：用于衡量多轮对话一致性。该指标度量了Sess-Utter边的合适性，因为这些边提供了重要的先验信息以确保多轮对话的连贯性。具体而言，如果话轮级节点与连接的会话级节点（话题）相关，则为1分，否则为0分；(2）U-U Appr. ：用于评估单轮对话连贯性。它测量了两个话轮级节点之间的Utter-Utter边的质量，这些边提供了确保单轮对话连贯性的关键先验信息。具体而言，如果该边连接的入边节点内容适合在对话中用于回复出边节点的内容，则为1分，否则为0分。需要注意的是，本文并没有评估Sess-Sess边的质量，这是因为Sess-Sess边的构建依赖于Sess-Utter边。

同时，对于节点，本文评估会话级节点质量（Sess.V.-Qual.）。理想情况下，会话级节点（话题）应该由内容高度相似的对话片段映射。换而言之，本文可以通过评估映射到对话的两个对话片段之间语义的相似性来度量会话级节点的质量。具体而言，如果映射到同一会话级节点的两个对话片段的话题大致相同或高度相似，则为2分；如果两个对话片段包含不同的话题，则为0分；否则为1分。

表1 对话结构发现的实验结果

如表1所示，DVAE-GNN在两个数据集上的所有评估指标（显著性检验，p<0.01）上都显著优于基线DVRNN。这表明了DVAE-GNN模型能够更好地发现有意义的对话图。具体而言，DVAE-GNN在NLL和BLEU-1/2方面取得了最好的结果，表明了DVAE-GNN比DVRNN能够更好地捕获重要的语义信息。同时，DVAE-GNN在"U-U Appr"和"S-U Appr"指标上也超过了所有基线。结果表明，本文发现的对话图中的边具有较高的质量，能够更好地促进对话生成的多轮连贯性。

为了进一步分析模型的效果，本文还进行了消融实验。具体地，为了评估GNN对于结构发现的贡献，本文从DVAE-GNN模型中去除GNN，称之为DVAE-GNN w/o GNN。本文看到，它的性能在"S-U Appr"和"Sess.V.-Qual"指标上急剧下降。这说明了GNN能够更好地将结构信息（复杂的节点关系）融入会话级节点表示学习中。此外，为了评估短语对话轮级节点表示的贡献，本文去除了关联短语，称之为DVAE-GNN w/o phrase。从实验结果中可以看到，它在所有指标上的得分都急剧下降，特别是在三个人工评价指标。这是因为，在没有任何先验信息的情况下，模型很难从大量细粒度语义内容中学习高质量的话轮级节点表示。最后，所有指标上的人工评估的Kappa值大于0.4，说明标注者之间的具有中等一致性。

关于所发现的对话结构图样例和基于对话结构图的实验结果，请查阅论文原文。实验表明，对话结构图对于提升多轮对话连贯性等有重要作用。

4. 结论

本文设计了一种自监督的对话结构发现模型。实验结果表明，自监督的DVAE-GNN模型能发现有意义的层次化对话结构，且对话结构图对于提升多轮对话连贯性等有重要作用。

5. 参考文献

[1]. Juntao Li and Rui Yan. 2018. Overview of the nlpcc 2018 shared task: Multi-turn human-computer conversations. In CCF International Conference on Natural Language Processing and Chinese Computing, pages 446–451. Springer. 

[2]. Yu Wu, Wei Wu, Chen Xing, Ming Zhou, and Zhoujun Li. 2017. Sequential matching network: A new architecture for multi-turn response selection in retrieval-based chatbots. In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 496–505, Vancouver, Canada. Association for Computational Linguistics. 

[3]. Weiyan Shi, Tiancheng Zhao, and Zhou Yu. 2019. Unsupervised dialog structure learning. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pages 1797–1807, Minneapolis, Minnesota. Association for Computational Linguistics.

本期责任编辑：赵森栋

本期编辑：钟蔚弘

---

哈尔滨工业大学社会计算与信息检索研究中心

理解语言，认知社会

以中文技术，助民族复兴