【动态】第三期可视化与可视分析国际学术报告成功举办

2021 年 10 月 25 日 中国图象图形学学会CSIG

2021年10月21日（周四），中国图象图形学学会可视化与可视分析专业委员会组织的第三期可视化与可视化分析国际学术报告成功开展。此次报告的特邀讲者是来自美国威斯康星大学麦迪逊分校计算机科学系的Michael Gleicher教授。 Gleicher教授是UW-Madison计算机科学系视觉计算组的创始人、视觉计算实验室和协作机器人实验室的共同主任。他的研究兴趣涵盖了可视计算领域，包括数据可视化、机器人技术和虚拟现实。在加入该大学之前，Gleicher教授是Autodesk Vision技术中心和苹果电脑高级技术组的研究员。他于1994年在卡内基梅隆大学获得计算机科学博士学位，1988年在杜克大学获得电子工程学士学位。 2013-2014年，他是INRIA Rhone Alpes的访问研究员。

Michael Gleicher教授带来了题为《Interpreting Embeddings with Comparison》的精彩报告。首先，Gleicher教授围绕“嵌入”从以下几个方面进行了介绍：什么是嵌入、什么是词嵌入、为什么要使用词嵌入、为什么要解释嵌入，以及解释词嵌入面临的挑战。在计算机科学中，嵌入是指将一组离散的对象放入向量空间，并对对象关系进行编码。而词嵌入是在向量空间内对词关系进行编码的一种数学模型。这种模型是基于大型语料库中单词的共现信息，在无监督训练过程中生成的。通过对高维数据进行嵌入处理，可以表达数据对象之间的关系，例如距离、线性结构和语义方向等（图1）。词嵌入能够帮助我们了解语言、文本语料库，或对自然语言程序的预处理，这是一种新兴的自然语言处理工具并被证明可以适用于各种语言处理任务，其效用源于在向量空间内编码单词关系的能力。Gleicher教授介绍了几种常用的词嵌入构建方法（如Word2Vec，GLoVE）和主题模型构建方法（如LDA，NMF）。紧接着，Gleicher教授探讨了为什么要做嵌入的可解释性分析。在许多应用中，解释嵌入可以帮助我们建立一个好的模型、比较模型的优越性以及理解底层数据。虽然理解单词之间编码的语法和语义关系是非常有用的，但庞大的单词量、数据的高维性和构建嵌入模型的复杂过程也使得词嵌入研究面临巨大的挑战。针对这个挑战，设计合理的可视化工具能够帮助用户深入了解词嵌入模型。Gleicher教授介绍了他们组在词嵌入理解方面开展的一系列可视分析工作。

图 1 嵌入处理可有效表达高维数据对象之间的关系，包括距离、线性结构和语义方向。

第一份工作是发表于EuroVis 2018的Interactive Analysis of Word Vector Embeddings。通过对领域文献进行调研和任务分析，收集词向量空间的相关特征用于评估、测试和使用，Gleicher教授总结了词向量嵌入的独特挑战（图2）。随后，Gleicher教授详细地介绍了3项可视化设计，包括Buddy Plots, Co-occurance Matrices, 和Concept Axis Plots，并展示了其功能，以满足用户理解词向量嵌入的需求。最后，在测试案例部分Gleicher教授介绍了该可视分析工具的两种应用。其中“语义变化”（图3左）展示了如何使用这些可视化设计快速了解一个词的意思是如何随着时间变化的，并找到这种嵌入变化的证据；“稳定性评估”（图3右）则展示了使用词嵌入算法（GloVe）来探索并理解词嵌入的不确定性问题。

图 2 词向量嵌入的独特挑战以及Gleicher教授创建的对应可视化设计

图 3 可视化设计用于理解语义变化（左）以及评估词嵌入模型的稳定性（右）

Gleicher教授总结指出，以上介绍的词嵌入可解释性分析原理上是通过比较（Comparison）完成的：通过比较，可以更好地理解词嵌入模型，也可以选择性能更优越的模型。Gleicher教授进一步指出，比较是数据分析中的一个重要任务，甚者可以说几乎所有的数据分析任务可通过比较完成。Gleicher教授通过回顾Considerations for Visualizing Comparison这一文章，详细介绍了什么是比较可视化（图4）：比较的要素包括什么？为什么说比较是困难的？如何应对比较困难这个挑战？如何设计合理的可视化设计进行比较？在阐述并回答上述4个问题的过程中，Gleicher教授还以Serendip工具的工作流程为例，进行了说明验证。

图 4 Gleicher教授提出的关于比较的4个问题以及相应回答

那么，如果有多个嵌入模型，能否通过比较来更好地理解并选择它们呢？对于嵌入算法的结果，人们更关心对象的之间的关系（局部结构），而不是对象在高维空间中的位置（全局结构）。由于嵌入算法具有一定的随机性，对于同一组对象，可能会有不同的向量表示，但这些向量之间的关系都非常相似，这就产生了比较问题。为了说明这些结构的相似或不同之处， Gleicher教授介绍了Interactive Visual Comparison of Object Embeddings这一文章。在该工作中，Gleicher教授设计了Neighborhood Overlap View, 用于比较两个不同的嵌入模型。Gleicher教授首先通过比较两次t-SNE降维并映射到二维空间的运行结果，介绍了Neighborhood Overlap View的设计原理。随后，Gleicher教授演示了该设计在多个案例上的应用，一个是基于维基百科（现代）和EEBO（1470-1700）语料库进行词向量嵌入的比较（图5），另一个是基于Vispub数据（871篇论文）摘要和正文构建的主题模型比较。

图 5 Neighborhood Overlap View视图比较基于维基百科（现代）和EEBO（1470-1700）语料库进行词向量嵌入结果

最后，Michael Gleicher教授分别从文本分析嵌入和比较分析方法两个方面总结了今天的报告。在提问环节，在线观众积极发表了自己的观点并参与了讨论。大家踊跃地提出了自己的问题，例如“人机协作或混合方法是否有助于提高可扩展性”，Gleicher教授给出了肯定的回答，并阐述人类在处理速度变化快、信息量大的事件上是受限的，机器在某些方面表现是优于人类的。为此，人机协作是值得肯定的。此外，将人类擅长处理的方面，与机器表现优异的方面相互结合，才是最理想的状态； “关于概念轴是如何确定的”，Gleicher教授解释一种概念对应一个轴，例如：男性与女性是同一种概念，对应一个轴；工人与学术，这是两种完全不同性质的概念，则对应不同的轴； “是否可以编码附加信息来扩展Buddy Plots”，Gleicher教授提及在Buddy Plots上融入更多的信息是否能够让用户更加满意，目前为止还没有任何的实验验证。不可否认，今后会在Buddy Plots视图的基础上出现融合更多信息的复杂视图。但视图中最重要的，并最需要优先考虑的仍然是普适性与有效性，在这些方面Buddy Plots的表现是令人满意的。

本次活动由四川大学计算机学院视觉计算实验室支持，专委会常委、实验室负责人朱敏教授以及来自美国威斯康星大学麦迪逊分校的贺庆来博士共同主持。第四期报告将于2021年11月4日晚上19:00-20:30举办，报告题目为《Visual Analysis through Spatial and Abstract Data Integration》，讲者是来自维也纳工业大学的Eduard Gröller教授。