2022年6月16日星期四上午,中国图象图形学学会可视化与可视分析专业委员会组织的第十九期可视化与可视分析国际学术报告成功举行。此次报告特邀Natalia Andrienko教授担任讲者,进行了题为《Seeking Patterns of Visual Pattern Discovery for Knowledge Building》的精彩报告。Natalia Andrienko教授是德国弗劳恩霍夫(Fraunhofer)智能分析和信息系统研究所的首席科学家,也是伦敦城市大学的兼职教授,担任了International Journal of Geographical Information Science 和 International Journal of Cartography等期刊编委,曾在AGILE、IEEE、EuroVis、ACM等会议上获得过多项奖项。
首先,Andrienko教授讲解了信息可视化与可视化分析的共性、差异以及在实证研究中遇到的一系列问题,在此基础上引出了知识构建过程的理论模型以及在该模型启发下会遇到的8个实证研究问题。信息可视化的目标是恰当的显示信息,让分析者能够准确有效地感知可视化后的信息;其标准就是要注重可视化后信息的表达能力以及能否有效地被用户查看。而可视化分析的目标是促进分析推理和知识构建;其标准就是可视化分析的分析能力以及能否让用户形成有效的认知过程。信息可视化与可视化分析分别面临的问题是:人类如何(轻松、准确、清晰地)从可视化展示中获取信息,以及分析师如何使用可视化展示来推理和构建知识。前者需要研究人员能够事先知道用户要感知的信息,并对其进行可视化编码;而后者要求研究人员在编码可视化展示时,不能知晓相关的知识或有意将其编码进入可视化展示。为了处理人们看到信息后是如何建立知识这个问题,就要进行实证研究,看人们查看视觉展示后如何进行推理和构建知识。
随后,Andrienko教授介绍了几个知识构建过程的理论模型(图2),这些理论模型描述了用户获得信息后进行知识构建的过程。比如在自顶向下过程的理论模型中,人们接收到刺激以后,会有目的地利用注意力来寻找特定的信息,然后用这些信息来制作出一些影响或者决定。在贝叶斯推理模型中,人们在分析和知识构建途中可能受到先验信念的启发,而当看到一些视觉形式的数据与他们的先验信念相违背时,他们可能会被后验信念所影响纠正先验信念。除了这两个模型外,还有假设驱动的知识生成、知识生成=模型构建、由关系链接的多个数据项的统一和领域洞察等模型供我们使用。
Andrienko教授引出了在理论模型启发下的8个实证研究问题(图3),这些问题也可以设置在其他的可视化分析研究中。
Andrienko教授详细讲授了研究开展过程。第一步要确定研究的目的——观察实验参与者抽象的感知、概括、推理和知识构建。为此,研究团队通过一系列方式召集了受过良好教育、经验丰富的专业人士来充当参与者。通过指派一系列任务,让参与者分析三个场景的地理分布。任务一般是分析可视化地图上现象间的关系。而这三个现象分别是:1、希腊雅典的交通强度和粗略的速度变化事件;2、伦敦周边的车祸和驾驶事件;3、英格兰东部的人口匮乏和健康状况测试这三个现象的地理分布。在此期间,研究人员记录实验参与者的标记的地图位置、眼球运动轨迹以及同步的出声思维(think aloud),根据记录作出眼动轨迹分析的围巾图(图4)、注视流图和会话记录,以此来分析实验参与者知识构建的模式。
在围巾图中,记录着不同时间段参与者的感兴趣区域(参与者长时间或反复盯着某一区域),颜色越接近粉色就意味着参与者把更多注意力放在这个区域进行调查。通过注视流图,我们能够看到参与者视角的长/短过渡情况,同时总结出参与者一般采用的两种地图探索策略(图5):选择性聚焦和全面覆盖。在会话记录中,研究团队将参与者的出声思维记录下来,出声思维即参与者将自己的思想进行口头描述,表达他们在看什么、要做什么和接下来要做什么,通过会话记录我们可以获取参与者分析地图时的想法。
接下来,Andrienko教授又对这种分析方法进行了进一步思考。教授认为:第一、出声思维不能为可视化分析活动的实证研究提供足够的信息,因为事实上参与者只会口头表达分析活动中的一小部分思想,但有证据表明,参与者的思想活动会比说出来的多得多;第二、实证研究不能仅仅依靠眼球跟踪,需要加强出声思维的比重,因为没有出声思维就无法理解眼球运动的含义。
就此得出8个实证研究问题的答案:1、在概括观察结果的数据分析中,自顶向下的分析起到了关键作用;2、贝叶斯推理模型不能充分描述我们实验中的分析过程;3、在分析会话中观察到了探索和假设验证这两种类型的活动,但没有明确的证据指出参与者产生的知识仅由假设组成;4、在分析中,可以识别到模型评估和模型修改;5、当模型已经适合回答问题,或者由于信息不足无法进一步改善模型时,分析过程就可以终止了;6、参与者描述的观察结果恰好是数据模式,视觉模式到数据模式的转换是隐式发生的;7、对发现的模式应用了评估、解释、比较、寻找、细化和概括这些分析操作;8、在分析过程中可以识别背景信息。
最后,Andrienko教授肯定了出声思维方案与眼球跟踪相结合的实证研究方式,认为可视化分析需要调查分析推理和知识构建的实证研究,现在的可视化分析科学和技术没有得到实证研究的充分支持。对于分析过程的理论模型需要进行更多研究来评估和进一步发展。
在提问环节,Andrienko教授和听众进行了热烈的交流。Andrienko教授指出本次研究的实验数据是可以共享使用,但为了保护参与者的隐私,音频数据无法共享。在谈及序列是否能用于其他领域时,Andrienko认为该序列是由本次实证研究得出的,具有特例性和唯一性,所以在其他领域可能不能得到很好的应用。另外,当观众问到是否可以用深度学习模型来对理论模型进行处理时,Andrienko教授表示在未来可能会进行这方面的尝试。
本活动由西南交通大学支持,可视化与可视分析专委会委员,西南交通大学计算机与人工智能学院滕飞副教授主持。下一期报告将于2022年6月30日举办,讲者是奥地利圣波尔顿应用科学大学的Wolfgang Aigner教授。