封面故事 | 多模感知文物呈现

引用格式

祁彬斌, 朱学芳. 引入力触觉的数字文物多模交互方法[J]. 中国图象图形学报, 2018, 23(8): 1218-1230.]

DOI: 10.11834/jig.170583

原文链接

http://www.cjig.cn/html/jig/2018/8/weixin/20180811.htm

文化遗产是一个国家或地区文化传承与发展的有力见证。随着数字技术的发展和计算机通讯技术的应用普及, 文物作为人类历史文化遗产的重要形式, 正步入数字化的研究、保存和展览阶段。

2008年, 力触觉技术被国际顶级学术期刊《Nature》列为未来可能改变世界的十大技术之一。数字化、集成化、可交互和多模态正成为3维文物展示发展的必然趋势。

现有的文物展示工作仍存在两方面的问题:

一方面, 现有大多数文物数字化呈现方面的研究和应用主要针对于视听通道, 对触觉方面的涉猎相对较少。在现有文物展示过程中引入触觉等通道, 实现用户对数字文物的多模感知就成为研究工作的一个技术难点。

另一方面, 随着VR/AR的应用普及, 人机交互的环境逐步由2维平面拓展到立体空间, 交互的形式呈现多元化的趋势, 交互的任务也变得更为复杂。

本文导语

针对文物资源由传统的实体文物向数字文物进行扩展的趋势，引入力触觉交互方法可有效实现对各类数字遗产特别是3维文物的多模重现，在保证较高实时性的同时拥有良好的可用性和情感体验效果。

专家推荐

本文通过将力触觉交互引入三维文物展示领域，向感知交互中引入了一个新的模态。本文框架能够在较好地模拟用户与文物的力触觉交互，并通过实验得到了良好的用户反馈。

本文亮点

1. 从视、听、触觉三个维度对三维文物进行分析, 结合用户交互数据实现多通道信息的识别、计算、整合和处理, 并传递给视、听、触觉设备完成多模感知。

2. 针对交互的环境由二维平面拓展至立体空间, 结合力触觉设备将操作时的行为和状态映射为虚拟环境中的操作代理, 借助操作代理构建统一的“旋转”和“选择-移动-释放”交互模型来实现用户意图。

3. 考虑到虚拟场景的真实感特征, ODE物理引擎的合理引入则将物体的基本运动规律集成至虚拟场景, 在交互过程中实现操作者对物理世界的普遍感知, 提升整体交互的真实感和沉浸感。 

本文方法

在力触觉计算渲染方面，基于嵌入深度构建弹簧系统模拟轮廓形状的接触过程，引入动摩擦和静摩擦因数来反映表面摩擦力这一材质特征，通过法线贴图来实现文物表面纹理的触觉处理。

▲算法框架

▲触觉绘制环节的算法流程

本文结果

使用Phantom Omni手控器搭建面向馆藏文物的多模感知实验系统，抽取志愿者对实验系统进行测评。

▲3维文物的呈现效果

▲“旋转”操作下多视角的3维文物交互效果

▲“选择-移动-释放”操作下多视角的3维文物交互效果

第一作者

祁彬斌，男，南京大学情报学专业博士研究生，主要研究方向为多媒体信息处理、触觉交互。E-mail: qidoublebins@163.com

通信作者

朱学芳，教授，博士生导师，中国计算机学会虚拟现实与可视化技术专委会委员，中国社会科学情报学会常务理事。E-mail: xfzhu@nju.edu.cn

研究团队简介：

南京大学信息管理学院多媒体信息处理研究所成立于2001年，研究方向定位于：模式识别与图像处理、虚拟现实技术及应用、信息可视化处理与检索服务技术、数字多媒体信息融合服务技术等。

南京大学信息管理学院多媒体信息处理研究所学术带头人朱学芳教授，北京大学数学博士(1994年毕业)，南京大学物理学博士后(1996年出站)，南京大学(信息资源管理专业、情报学专业)博导，院学术委员会委员，中国计算机学会虚拟现实与可视化技术专委会委员，中国社会科学情报学会常务理事，2001-2015年中国图像图形学会理事等。出版著作《多媒体信息处理与检索技术》、《计算机图像处理导论》、《手写数字图像识别及模式分析》、《图像图形软件应用教程》等，发表论文170多篇。先后主持国家社科基金重大项目和国家社科基金重点项目等。曾获得电子工业部“先进奖”、江苏省“科技进步奖” 等。

前沿丨观点丨咨讯丨独家

扫描下方二维码 关注学报公众号

中国图象图形学报 | 订阅号