Dwyer 教授于 2005 年获得悉尼大学博士学位,师从澳大利亚知名可视化学者 Peter Eades 教授。于 2005 年至 2008 年任蒙纳士大学做博士后研究员,同时至 2009 年任美国微软研究院的访问研究员,于 2009 年至 2012 年任美国微软Visual Studio 产品组的高级软件开发工程师,并在这之后以 Larkins 研究员的身份回到蒙纳士大学,任数据可视化和沉浸式分析实验室负责人。此外,Tim Dwyer 教授与合作者联合编撰了《沉浸式分析 (ImmersiveAnalytics) 》一书,该书于 2018 年由Springer 出版,迄今为止下载量已超过 16,500 次。Tim Dwyer 和他的导师 Peter Eades 都曾担任北京大学可视化暑期学校讲者。
此次活动 Dwyer 教授的报告题为《ImmersiveAnalytics in a Connected World》(互联世界中的沉浸式分析)。整个报告前后分为“网络可视化”(network visualisation)与“沉浸式分析”(immersiveanalytics)两大部分。
在网络可视化部分,Dwyer 教授先简明地讲解了图布局的应力优化方法的思想,即使用特定的二次函数 stress 来衡量全局应力、平衡点的分布,并演示了通过偏导数及梯度下降两种方法优化stress 函数的具体过程。相比于普通的梯度下降法,增加了有约束的迭代过程中,新数据超出约束部分则投影至边界上的要求。随后 Dwyer 教授又展示了通过添加不同的约束条件可以实现的功能:防止节点重叠、实现自上而下的层次布局、保持图的拓扑结构等等,并演示了这种优化方法的实际运用和介绍了基于带约束的应力优化方法开发的另外两款工具——Code Maps和Cola.js。
图 1 Dwyer 教授演示添加约束条件保持图的拓扑结构
图 2 将除Externals 结点外的结点合并为超节点,明显减少边数
除了代码与数学这样的技术角度,Dwyer 教授也从认知角度对网络可视化进行了研究。在压缩边工作之后,Dwyer 教授展示了另一项工作,将不同的网络图高度抽象为相同的可视化形式,并使得用户在第一眼就把握到此网络的复杂程度。为了进一步了解网络复杂度对于用户认知的影响,Dwyer 教授开展了测试认知负载的实验工作,要求测试者戴上 EEG 设备观看网络可视化图,并评价认知难度。实验结果给出了网络图中结点数、结点与边比例对于认知负载的影响与趋势,并于脑电图测试中发现了不同复杂度的网络图在人脑中占据不同主要认知区域。
图 3 网络图的认知负载任务结果图
在第二部分沉浸式分析的开始,Dwyer 教授结合自身经历首先介绍了CAVE2 混合现实环境。虽然 CAVE2 在可视化协作上确实有所长处,但其设备昂贵到令人生畏,且十分笨重。Dwyer 教授因此开展了 CAVE 式协作与 Oculus Quest 下协作的对比,希望能用跟家轻便低价的 VR 设备来开展沉浸式协作、取代 CAVE,而在对使用这两种设备下不同时空行动轨迹的比较中可以发现,头戴式 VR 的视图渲染更优于 CAVE,从而证明了头戴式 VR 的优越性。
其后的报告中,Dwyer 教授的研究围绕着三维的特有优势开展:3Dflow map 是对普通 flow map 的拓展,提高了容量,能够通过高度分离和视角切换有效缓解连线的遮挡问题,且在处理地图时能够保持天然的球形,而不需要形变摊开成平面,更贴近人们的原始认知;Tilt Map 尝试了将空间交互与可视化结合,将分级统计图、3D 棱柱图与条形图统一为一个对象,能够随着交互下倾斜角的改变而自动变换为多种模式,改变数据观察的重心;FIESTA 系统则是一个多人协作的 VR 空间,提供了 VR 下的多人同时交互界面,且用户可以自由放置可视化对象的空间位置,从认知视角来看,这一系统的使用中发现了许多协作和空间使用的模式,能够为理解人们心中的思考模式提供很大帮助。
图 4 Tilt Map 的三种模式
报告更近一步聚焦于对“数据轴+具身交互“的一系列探索:ImAxes工作展示了沉浸式 VR 环境下的一种可交互数据轴,允许用户自行组合高维数据的不同维度,进行高自由度的探索;Embodied Axes 则由 VR 转向 AR、由虚拟空间转向现实空间,将具身数据轴与 AR 下的体数据表现结合,使得对数据轴的物理移动变为对数据范围的抽象控制,也进行了无实体控制、远程控制等方面的探索;MADE-Axis 在 Embodied Axes 的基础上实体化、模块化、无线化,不再局限于固定好的相对位置和数目,能够拥有超越 ImAxes 的高自由度,可以和不同设备协作,既能以 AR 形式工作又能以 VR 形式工作,且具有物理特性的数据轴对于人类的具身认知更为有利。展示部分总体以视频形式为主,即便是没有相应基础的观众也可以轻松感受沉浸式可视化的魅力。
图 5 Embodied Axes 显示头部模型
在提问环节,Dwyer 教授和观众进行了热烈的交流。在谈及疫情下的VR 用户调研的困难时,Dwyer 教授肯定了当下的不便,但是认为调研仍然还是可以进行的,比如可以采取将设备寄送到测试者家中等方法;在解答可触摸交互界面相较于传统交互界面的优势时,Dwyer 教授强调了可触摸交互更贴近于人类直觉的一面;而谈及人类的空间能力在沉浸式数据分析中的正面作用时,Dwyer 教授虽然指出了空间记忆等影响因素,但也同时认为对于这方面仍需要进一步的研究,期待未来能够有更可靠的模型。在报告的结尾,Dwyer 教授对于沉浸式可视化的未来做了展望:VR 与 AR 设备将会降低价格、更加便携,技术更加普遍使用,游戏技术中的图形学与交互部分将会极大助力其发展,且社交媒体巨头的推动也不可小觑。
本次活动由北京大学支持,可视化与可视分析专委会主任袁晓如主持了报告会。下一期报告将于 2022 年 2 月 24 日上午9:00-10:30举办,邀请了美国佐治亚理工学院的 John Stasko 教授作为嘉宾讲者。