面向数据可视化的自然语言接口: 综述论文

摘要

利用面向可视化的自然语言界面(V-NLI)作为直接操作可视化分析的补充输入方式，可以提供吸引人的用户体验。它使用户能够专注于他们的任务，而不是担心操作可视化工具的界面。在过去的二十年中，特别是最近几年，利用先进的自然语言处理技术，许多V-NLI系统在学术研究和商业软件中得到了开发。在本文中，我们对现有的V-NLIs进行了全面的回顾。为了对每篇论文进行分类，我们在经典的信息可视化管道的基础上，扩展了V-NLI层，开发了分类维度。使用了以下七个阶段: 查询理解、数据转换、可视化映射、视图转换、人工交互、上下文管理和表示。最后，我们还阐明了未来社区工作的几个有前途的方向。

引言

交互式可视化在数据分析领域变得越来越流行。作为分析套件的一个常见组成部分，Windows、图标、菜单和指针(WIMP)界面被广泛应用于当前的实践中，以促进交互式可视化分析。然而，这种交互模式在可视化工具中呈现出陡峭的学习曲线，因为它要求用户将其分析意图转化为特定工具的操作[127]，如图1的上半部分所示。

多年来，自然语言处理(Natural Language Processing, NLP)技术的快速发展为探索基于自然语言的数据可视化交互范式[18][277]提供了巨大的机遇。在高级NLP工具包[1]，[3]，[21]，[83]，[156]的帮助下，面向可视化的自然语言界面(V-NLI)最近作为传统WIMP交互的补充输入方式出现了，它支持根据用户的NL查询生成可视化。V-NLI的出现，极大地提高了可视化工具的可用性:(a)便捷、新手友好。自然语言是公众掌握的一种技能。通过利用自然语言与计算机交互，V-NLI向用户关闭特定于工具的操作，如图1所示，为新手提供了方便的分析流程。(b)直观有效。人们一致认为，当用户能够专注于他们的数据而不是分析工具的界面操作时，可视化分析是最有效的[85]。在V-NLI的帮助下，用户可以用自己的语言表达自己的分析任务。(c)人文关怀。如今，我们获取的大量信息都是通过视觉手段获得的。V-NLI是一种创新的非视觉访问方式，促进了盲人和低视力(BLV)人群的参与。

V-NLI的时间线如图2所示。早在2001年，Cox等人[41]提出了用于可视化的NLI的初始原型，该原型只能接受结构良好的查询。大约十年后，清晰地[241]引入了一个两步过程，从NL查询创建可视化。它首先提取用户的分析任务和数据属性，然后根据这些信息自动确定适当的可视化。虽然早期的研究是一个有希望的开始，但由于自然语言还不是一种普遍的交互方式，VNLI系统被限制在简单的原型。然而，自从苹果将Siri[221]集成到iPhone之后，NLIs开始受到更多的关注。2013年前后，单词嵌入技术的出现[162]推动了神经网络用于自然语言处理的发展，从而重新燃起了V-NLI的商业兴趣。IBM在2014年首次发布了基于nl的认知服务Watson Analytics[4]。微软Power BI的Q&A[5]和Tableau的Ask数据[2]分别于2018年和2019年发布，提供了自动补全、未指定语句推理等多种功能。DataTone[64]首先引入了歧义小部件来管理查询中的歧义，而Eviza[207]则探索了分析性对话。经过几年的技术积累，近五年出现了V-NLI的爆发(每年发表论文数见图2)。随着硬件设备的发展，协同多模态可视化界面获得了显著的兴趣。Orko[234]是第一个在平板设备上结合触摸和语音输入的系统，Data@Hand[278]专注于智能手机。InChorus[229]将笔作为第三种形式来实现一致的互动体验。经过训练的语言模型在2018年以来的各种NLP任务中获得了最新的研究结果，这为V-NLI[51]，[181]提供了极大的提高智能的机会。Quda[62]和NLV[231]贡献了用于可视化数据分析的NL查询数据集，nvBench产生了第一个V-NLI基准[150]。ADVISor[142]和ncNet[149]是基于深度学习的V-NLI解决方案。除了数据探索，FlowSense[280]还使用V-NLI增强了基于数据流的可视化系统。NL4DV[174]工具包可以很容易地集成到现有的可视化系统中，以提供V-NLI服务。

关于V-NLI的研究文献正在迅速发展，涉及可视化(VIS)、人机交互(HCI)、自然语言处理(NLP)和数据挖掘与管理(DMM)等方面。因此，越来越需要更好地组织研究景观，对当前工作进行分类，确定知识差距，并帮助对这一日益增长的领域不熟悉的人理解社区中的挑战和微妙之处。为此目的，以前曾作出几次努力总结这方面的进展。例如，Srinivasan和Stasko (EuroVis 2017[233]的短论文)对5个现有的V-NLI系统进行了简单的调研，基于它们允许用户执行的任务进行了比较和对比。他们(CGA 2020期刊论文[235])进一步强调了评估V-NLI的关键挑战，并讨论了三种流行的任务框架策略在应用时的好处和考虑。虽然这两项综述可以为后续研究提供有价值的指导，但随着近年来V-NLI的爆发，仍有相当多的新工作需要报道，细节有待讨论。就我们所知，本文是对V-NLI进行系统全面回顾的第一步。