南洋理工75页最新「深度学习对话系统」大综述论文，最全面概述深度学习对话技术进展

摘要

对话系统是一个流行的自然语言处理(NLP)任务，因为它在现实生活中应用前景广阔。这也是一个复杂的任务，因为涉及到许多需要研究的自然语言处理任务。因此，关于深度学习的对话系统研究的大量工作开展了。在这个综述中，我们主要关注基于深度学习的对话系统。我们全面回顾了对话系统的研究成果，并从模型类型和系统类型两个角度对其进行了分析。具体地，从模型类型的角度，讨论了对话系统中广泛应用的各种模型的原理、特点和应用。这将帮助研究人员了解这些模型，并了解它们如何应用于最先进的框架中，这在设计一个新的对话系统时非常有帮助。从系统类型的角度，讨论了任务导向对话系统和开放领域对话系统这两个研究方向，并对相关的热点问题进行了深入的探讨。此外，我们还对对话系统的评价方法和数据集进行了全面的综述，为未来的研究铺平了道路。最后，根据最近的研究成果，确定了一些可能的研究趋势。据我们所知，这个综述是目前对话系统和对话相关任务领域中最全面和最新的，广泛覆盖了流行的框架、主题和数据集。

https://www.zhuanzhi.ai/paper/a34ced4ac06f1af10dea73064600db50

引言

对话系统(或聊天机器人)正在世界上发挥更大的作用。人们可能仍然有一种刻板印象，即聊天机器人是那些给银行打电话时死板的代理。然而，由于人工智能的复兴，现代聊天机器人可以谈论丰富的话题，从你的生日派对到拜登的演讲，如果你愿意，它们甚至可以为你预订聚会地点或播放演讲视频。对话系统是目前自然语言处理领域的热点之一，在工业和日常生活中都有很高的要求。聊天机器人的市场规模预计将从2021年的26亿美元增长到2024年的94亿美元，复合年增长率(CAGR)为29.7%。预计到2021年底，80%的企业将配备聊天机器人自动化。

对话系统可以与人聊天，也可以作为对话的助手。根据其应用，对话系统通常分为两类:面向任务的对话系统和开放域对话系统。面向任务的对话系统解决了特定领域的特定问题，如电影票预订、餐厅餐桌预订等。传统的任务导向对话系统采用流水线结构，由四个功能模块组成: 自然语言理解、对话状态跟踪、策略学习和自然语言生成，这将在第三节详细讨论。许多最先进的作品设计端到端面向任务的对话系统，以实现比流水线方法更好的优化。开放域对话系统的目标是在没有任务和域限制的情况下与用户聊天，而不是专注于任务完成(Ritter et al.， 2011)，这通常是完全数据驱动的。开放域对话系统一般分为三类: 生成式系统、基于检索的系统和集成系统。生成系统运用序列到序列模型将用户消息和对话历史映射到一个可能不会出现在训练语料库中的响应序列。相比之下，基于检索的系统尝试从某个回复应集中选择已存在的回复。集成系统通过两种方式将生成法和基于检索的方法相结合: 将检索到的响应与生成的响应进行比较，从中选择最优的回复; 生成模型还可以用于提炼检索到的回复(Zhu et al., 2018; Song et al., 2016; Qiu et al., 2017; Serban et al., 2017b)。生成系统可以产生灵活的、对话的、与上下文相关的回复，但有时它们缺乏连贯性，倾向于做出枯燥的回应。基于检索的系统从人的回复集中选择回复，从而能够获得更好的表层语言的连贯性。然而，检索系统受限于响应集的有限性，有时检索到的回复与对话上下文的相关性较弱(Zhu et al.， 2018)。

对于对话系统，现有的综述论文(Arora et al., 2013; Wang and Yuan, 2016; Mallios and Bourbakis, 2016; Chen et al., 2017a; Gao et al., 2018)要么过时，要么不全面。这些论文中的一些定义目前已经不再使用，很多新的著作和话题没有涉及到。此外，它们大多缺乏多角度的分析。因此，在本综述中，我们全面回顾了近年来基于深度学习方法的高质量研究，并从模型角度和系统角度提供了对最新研究的见解。此外，本综述根据最新的研究成果更新了定义，并广泛覆盖了对话系统中的各种热点问题。

传统的对话系统大多是基于有限状态(Arora et al.， 2013)、基于统计学习和基于机器学习的系统。基于有限状态的系统易于实现，并且能够自然地响应，这使得它们在早期的行业产品中很受欢迎。但是，这些系统的对话流是预先确定的，这使对话系统的应用程序保持在特定的场景中。基于统计学习和基于机器学习的系统通常执行模板填充来管理某些任务。与基于有限状态的系统相比，这些系统更加灵活，因为对话流不是预先确定的。但是，由于模板固定，在模板填写方面F1分数不高，在应用场景和响应多样性方面也受到限制。大多数最先进的对话系统都是基于深度学习的系统。深度学习的快速增长提高了对话系统的性能(Chen et al.， 2017a)。深度学习可以被看作是多层神经网络的表示学习。深度学习体系结构广泛应用于对话系统及其子任务。第2节讨论了各种流行的深度学习架构。

从对话系统出发，NLP也有很多与对话相关的任务，包括但不限于问答、阅读理解、对话解缠、视觉对话、视觉问答、对话推理、对话语义解析、对话关系提取、对话情感分析、仇恨言语检测，MISC检测等。在这个调查中，我们还谈到了一些处理这些对话相关任务的工作，因为对话系统的设计可以从这些相关领域的进展中受益。

我们为这篇长文章制作了一个图，以帮助读者熟悉整体结构(图1)。在这个综述中，第一部分简要介绍了对话系统和深度学习;第二节讨论了现代对话系统中流行的神经模型及其相关工作;第三部分介绍了任务导向对话系统的原理和相关工作，并讨论了当前的研究挑战和热点问题;第4节简要介绍了这三种系统，并重点介绍了开放域对话系统的研究热点;第5节回顾了对话系统的主要评价方法;第6节全面总结了对话系统常用的数据集;最后，第七部分对全文进行了总结，并提出了一些研究趋势。