赵沁平院士谈虚拟现实中的10个科学技术问题

点击上方“中国计算机学会”轻松订阅!

来源：《中国科学：信息科学》

2013年以来，随着虚拟现实(virtual reality，简称VR)/增强现实(augmented reality，简称AR) 设备(如头戴式显示器等) 质量迅速提升、价格大幅降低，VR开始普及化，从军事、航空航天等高端行业应用进入大众生活。在这样的趋势下，越来越多的科技公司将眼光投向VR，部署研发团队并推出自己的VR创新产品，展开抢占VR产业制高点的激烈竞争，使得VR 技术进入了前所未有的快速发展时期。

任何一项新兴高技术产业的可持续发展都需要有三方面的条件支撑，VR产业也不例外，这就是需要关键技术突破与科技创新的持续支持，各类VR人才的强大支撑，以及市场需求的不断推动，而市场的形成又有赖于VR 应用系统与内容的不断丰富与创新。

实现一个VR系统，大体需要四方面的技术: 数据与获取、分析与建模、绘制与表现， 以及传感与交互。这四个方面均涉及硬件平台与装置、核心芯片与器件、软件平台与工具和软硬标准与规范。同时VR应用也需要结合各行业领域的应用技术，因此VR是学科高度综合交叉的科学技术领域，是存在许多有待解决的科学技术问题、并不断产生新科学技术问题的充满活力的新兴领域。

“

2009年我根据自己多年从事VR技术研究的体会，归纳总结了当时VR中的10个科学问题，并于2011年发表于Communications of the ACM。现在回头来看，这些问题的提出， 在一些方面推动了VR技术的研究，其中有的在一定程度上有所突破， 有的进展不明显，有的则被更为迫切的问题所掩盖，这体现了VR技术领域的活跃性。根据本人对近年来VR技术的发展趋势、VR应用和产业发展所遇到的技术瓶颈的认识，以及本人新的研究体会，在本文提出当前VR科学技术中新的10个科学技术问题。这些技术的突破会导致VR 应用和产业的新的巨大进展。

”

1

VR头戴显示的输入与交互

现有VR头戴式显示器看不到体验者自身，输入不便，也缺少与景物的交互机制，身临其境的感觉受限。因此，VR 鼠标等便捷友好的VR 输入方式，能够实时逼真地表现体验者肢体、并能与虚拟场景对象实时交互的机制是需要研究的问题。

2

头戴式显示的空间计算与AR虚实融合及其室外化

头戴式显示虚拟场景的空间计算，包括体验者头部和位置的实时精准跟踪定位，以及AR头戴显示中虚拟对象在现实空间中的位置计算与实时表现是需要进一步研究的问题。与此相关，虚实融合是AR的基本问题之一，包括视频式AR显示中图形对象与视频图像的融合，以及光学透视式AR显示中图形对象与现实景物的融合。 前者研究的时间比较长，后者随着光学AR头戴显示的实用化，逐步成为这一方向的主流， 许多问题有待解决。同时，光学透视式AR 的室外化，包括室外大场景下的虚实融合是有待探索的一个方向。

3

VR视频的采集、制作与交互式播放

VR全景视频(包括基于桌面、移动终端或Web的VR视频) 的采集、制作、交互式播放技术与设备，以及跨平台VR视频播放器，是一个研究发展方向。如何在VR 视频中引入几何与控制元素，增加VR视频的交互类型，提高其交互性是值得研究的问题。

4

基于移动终端和互联网的VR

基于移动终端和互联网的VR具有巨大发展潜力。对于前者， 低计算、低存储VR 技术， 云计算VR技术， 低延迟大数据传输与新型交互等是可创新技术方向。后者需要全屏3D绘制、VR设备接入与更合适的人机交互机制， 以及新型浏览器标准。Web VR将对现有浏览器和邮件系统等带来变革和颠覆性影响， 成为互联网的新入口。

5

物理特征的更多表现与新型物理模型

目前，虚拟对象的物理表现及其物理模型研究主要集中在运动学和动力学方面。物理模型也只有粒子系统、弹簧模型、SPH (smoothed particle hydrodynamics) 方法等少数几个。物质的许多物理特征(如材料特征)，爆炸、切割等物理现象，柔、黏、塑、流、气、场等物质对象的物理特征与交互响应的实时逼真表现，存在许多理论问题。 由于物理模型计算量巨大， 因此具体应用时实时性和逼真性之间的平衡也是需要考虑的问题。提出表现某类物理特征和物理现象的新型物理模型，构造其物理引擎及核心算法芯片PPU (physics processing unit)， 可以带来原创性、平台工具性成果。

6

进化演化模型与虚拟孪生

基于化学、生物学和生命科学的人体器官的生理、化学、生物进化演化模型是有待深入研究的科学问题， 可能产生新的知识型、概率型等模型类型。现实世界中的每一个(类) 对象，均可以构建虚拟孪生，使其与现实孪生在几何、物理、生理， 以及进化演化等方面高度相似。人体、城市和复杂装备的虚拟孪生会成为未来发展的重点， 并对医疗健康、城市规划管理和装备设计维护领域产生颠覆性影响。构造虚拟孪生， 特别是可交互几何类虚拟孪生的理论与方法，既是VR，也是AR，MR (mixed reality，混合现实) 等的基础。

7

智能行为模型

随着VR应用领域的不断扩展，虚拟人(或计算机生成的人) 操纵实体(如飞机、车辆等) 成为VR系统的重要组成部分，这些智能体的行为使得VR 系统所具有的3I (immersion， interaction， imagina-tion) 特征向4I发展，即VR系统将具有更多的智能(intelligence) 特征。该类问题的解决有赖于人工智能技术和人脑科学的发展。

8

力交互的柔韧感与新型自然交互

人与虚拟对象之间的力/触觉逼真感知的方式、机制及其设备仍然存在大量的问题， 特别是柔韧感; 此外新的感知通道， 如温湿感、嗅/味觉等，有的刚起步，有的尚未涉足。这是一个需要多学科交叉研究解决的问题领域。

9

VR内容的智能化生产技术与通用软件开发工具

目前VR内容制作生产力低下，原因一是VR 建模、绘制、修补等生产环节的工具和开发平台自动化、智能化程度低， 二是VR 硬件不兼容，均采用各自的软件开发工具包(software development kit， SDK)。提高3D建模(几何、图像、扫描等) 的效率和空洞修补的自动化水平等是需要进一步研究的内容，研发标准应用程序接口和通用软件包是提高共享和研发效率的必然途径。

10

 VR的逼真性度量与VR心理学、VR社会学

VR的逼真性，即虚拟与现实孪生的相似性测度是有待研究解决的一个理论问题。在此基础上研究各类VR应用的效果评价，特别是对人的心理影响，以及对人类社会带来的影响，并进行相关约束与法律研究也是必要的，这会形成新的人文学科研究方向。

上述是本人认为VR领域当前迫切需要研究解决的10个科学技术问题。 实际上，VR研究与应用领域中存在大量的科学技术问题。VR是一项可能的颠覆性技术， 主要体现在六个方面：突破目前以2D为主的显示，实现3D，以及未来的真三维显示；突破目前屏幕物理尺寸的局限，实现全景显示和交互体验；突破键盘、鼠标人机交互方式，实现手眼协调的人机自然交互；突破时空界限，把用户带入未来或过去的时空环境；取代现有互联网邮件系统为主的通讯交互方式，成为互联网的新入口和人际交互新环境。有助于实现上述颠覆性的基础理论与关键技术都应该是VR 技术研究者所追求的目标。

作者：

赵沁平

CCF会士，YOCSEF指导委员会专家，CCF王选奖获得者。北京航空航天大学教授，中国工程院院士，虚拟现实技术与系统国家重点实验室主任。长期从事计算机软件、虚拟现实技术等方向的科学技术研究。

文章来源：中国科学：信息科学，2017，47: 800-803

本文已获得授权，如需转载请联系“中国科学信息科学”公众号

2017CCF未来计算机教育峰会

计算机教育关乎计算机学科的发展和人才培养，在当今建设“双一流”大学的大背景下，提升我国计算机本科教育的质量和国际竞争力迫在眉急。为此，中国计算机学会（CCF）将于2017年7月21-22日在北京召开首届CCF未来计算机教育峰会。

本次大会将是计算机教育领域内的一次高端盛会。大会由CCF理事长、中国工程院院士高文担任大会主席，清华大学计算机系主任、中国工程院院士吴建平担任大会执行主席。届时，百余位来自海内外著名高校的计算机/软件学院院长及教育家、关心教育的企业家，将围绕“一流计算机本科教育”和“计算机教育中的核心科学问题”的议题，探讨如何建设更有效的计算机本科教育体系，推动我国计算机教育和人才培养质量的进步，提高高校计算机专业教育质量。

报告题目（暂定）

主题报告

• 一流计算机本科教育  

• 计算机教育中的核心科学问题

• 美国自然科学基金委对教育研究的支持模式与支持效果 

观点报告：

• 竞赛对人才培养的促进作用 

• 系统能力培养对于一流计算机人才的重要性 

• 工程教育认证对实现一流本科教育的利与弊 

• 从ACM SIGCSE看计算机基础教育研究

• 从MOOC看计算机基础教育研究 

• 从NSF资助项目看计算机基础教育研究

• 从工程教育认证实施情况看计算机基础教育研究 

Panel：

• 对一流的认知

• 计算机教育的评价体系

• 工程教育认证的利弊

• CCSP等竞赛的作用

联系人：

范丛丛　010-62600321-14/18610723169，ccf-edu@ccf.org.cn

CCF计算机未来教育峰会欢迎您！

了解更多详情及在线报名请点击【阅读原文】

CCF推荐

【精品文章】

周源源：弥合学术界和工业界之间的鸿沟

陈熙霖：学术界应该做好科研　更应该做好科普

杜子德：CCF的危机

郑宇：AlphaGo并未攻克围棋难题，人类未来仍有希望

黄铁军：电脑传奇（上篇）计算机出世

杜子德：学会为什么要有会员？

杜子德：社团的非营利属性和商业运作

山世光、颜水成、李航、俞凯：深度学习和大数据结合的红利还能持续多久？

郑宇：这个时代不缺数据，缺的是足够开放的思维

【精品视频】

李国杰：对信息时代的再认识

郑宇：深度学习在时空数据中的应用

张晓东：建设世界一流大学应“追求科学精神，回归教育本源“

CCF诚聘英才

 

招聘岗位：项目管理、刊物编辑、高级文秘、网站建设、美工设计、新媒体运营、会员发展、人力资源等。

简历投递：hr@ccf.org.cn

CCF为员工提供六险一金、年假、免费体检、餐补、交通、通讯补助、全面的培训体系、丰富的团建活动、高于业界平均水平的工资和奖金！

加入CCF，与计算机领域顶尖专家一起工作！

在公众号回复框回复“招聘”查看招聘详情。

更多CCF精彩报道请关注微信公众号