增强现实技术席卷而来，鲍虎军团队为您提供前沿的实现途径

2019 年 7 月 6 日 科学出版社

增强现实技术的理想是伴随人类左右，去感知和探究复杂世界。

拥有诸如千里眼、顺风耳、先知先觉等超自然能力，增强感知、探索和改造世界的能力，一直是人类孜孜追求的梦想和目标。随着信息的获取、传输、存储、处理、分析、模拟和呈现等技术的迅猛发展，信息空间和现实物理空间日益融合，人类的这一梦想逐渐成为现实。

作为用户的感知体验终端，增强现实(augmented reality, AR)是其中极为关键的一环。它是一种集定位、呈现、交互等软硬件于一体的人机界面技术，通过虚拟物体与现实环境的自动注册融合，营造出虚拟与现实共享同一空间的沉浸式体验，以增强用户对复杂现实环境的临场感知。著名的好莱坞影片《阿凡达》和《黑客帝国》形象阐释了这种虚拟与现实无缝融合的科幻景象。但是，技术的实现远不像壮丽的影视特效制作那么简单，这也是自其诞生之始，增强现实技术一直是信息技术的前沿研究方向的原因。

增强现实“增强”在哪？

增强现实技术通过建立虚拟环境和现实物理世界的映射关系，智能实时地将相关信息融合呈现在位于现实环境的用户面前，达到增强用户临场感知能力的目的。这里的“增强”主要体现在以下三个方面：

▌空间穿透。通过三维结构信息与相应现实环境的在线、精准的空间注册和融合呈现来增强用户的环境智能理解能力，使得用户可以在视觉上穿透现实空间环境，让“不可见的”变为“可见的”，让“可见的”变为“不可见的”，让“遥远的”变为“眼前的”。

▌时间折叠。通过所关联的历史和实时信息来扩展现实环境在时域上的维度，使得用户既可临场回溯再现历史、分析预测未来，也可自由地组合呈现不同时刻的信息，让用户拥有先知先觉的能力。

▌知识叠加。自动识别环境中的实物对象，将其所关联的信息、知识或不同条件下的演化模拟结果实时地叠加到该对象上，使得用户即时了解现实环境和事件所需的关键信息和知识。增强现实的这三个特点为用户对复杂现实环境的准确感知和分析决策提供了一种重要的技术手段，得到了国际学术界和产业界的高度重视和广泛关注。

▲光影融合的增强现实效果((株)三英技研提供)

在增强现实环境中，一切由计算机产生或者存储的信息，不再简单地显示在计算机屏幕上，而是以时空一致的方式注册在相应的实际环境中，一起融合呈现在用户面前，以便用户用感官去自然感知。增强现实技术的理想是伴随人类左右，去感知和探究复杂世界。

谷歌眼镜和微软HoloLens系统展现了增强现实的预想世界，例如，看向天空时显示天气情况；走向地铁口，则显示地理信息及相关属性信息；远程的人们可以坐在一起，进行面对面的交流；工人们可以临场了解装备内部的运行状态，并在有关信息的导引下，进行精准的系统运维操作；等等。

而苹果ARKit、谷歌ARCore和商汤SenseAR等移动增强现实软件平台的推出，则催生了增强现实的广泛应用研发，从高端的工业生产到简单的孩子学习和家庭应用，无不体现出其强大的威力。

增强现实技术正在以迅雷不及掩耳之势影响现代社会。

▲ 增强现实实例

我国虚拟现实和增强现实技术的研究，始于20世纪90年代末，是计算机图形学和计算机视觉研究的自然拓展。2002年底，浙江大学鲍虎军教授任首席科学家的973计划项目“虚拟现实的基础理论、算法及其实现”立项，重点研究虚拟环境表达和呈现、人机交互以及虚实融合等关键问题，开启了虚拟现实和增强现实技术的系统性研究。2009年，该项目得到持续支持，并重点转向增强现实和混合现实技术的研究。这两个项目的研究持续十年，浙江大学、中国科学院软件研究所和自动化研究所、北京理工大学、北京航空航天大学、清华大学、东南大学等单位深度参与了相关研究，并取得了重要进展，培养了一批优秀人才，建立起了一支高水平的虚拟现实和增强现实技术研究队伍。在虚拟环境的高效建模和实时高保真绘制、多通道人机交互、头盔显示和多投影融合显示、虚实环境的实时三维注册和融合等方面取得了一批国际先进水平的研究成果，成功研发了虚拟现实和增强现实驱动引擎和支撑软件平台，并实现了成功应用，极大地促进了我国虚拟现实和增强现实技术的研究。作为973计划项目的主持单位，浙江大学在虚拟现实和增强现实的建模和实时绘制、虚实环境的三维注册和融合呈现方面取得了重要研究成果，并发表在IEEE TPAMI、ACM TOG、IEEE TVCG、IEEE TIP、ACM SIGGRAPH、ICCV、CVPR、ECCV、EUROGRAPHICS和ISMAR等重要学术期刊与会议上。

增强现实：原理、算法与应用

鲍虎军，章国锋，秦学英著

北京：科学出版社，2019.5

《增强现实：原理、算法与应用》围绕虚实融合的沉浸视觉感知这一主题，集成我们过去十余年的研究成果和相关国内外前沿进展，根据增强现实系统的核心架构组织撰写而成。

本书共8章，第1章介绍了增强现实技术的基本原理、发展历史、显示装置、核心技术和典型应用，展现了国内外的发展态势；第2章介绍了相机的基本概念、成像模型及畸变校正模型；第3章详细阐述了基于影像的现实环境三维结构恢复和重建，这是三维计算机视觉的核心；第4章专门介绍了增强现实系统必需的实时三维注册技术，包括同时定位与地图构建(SLAM)、二维标志跟踪定位和三维模板跟踪定位等算法；第5章介绍了虚实环境的视觉融合技术，包括虚拟景物的实时高保真绘制、现实环境光照恢复、虚实景物的相互映照、信息可视化等算法；第6章介绍了空间增强现实技术，重点阐述了空间几何校正和颜色校准方法；第7章简单介绍了增强现实系统所需的人机交互技术，包括触控、手势、语音、实物等交互方法；第8章介绍了我们的移动增强现实系统的框架设计，并分析了若干增强现实应用案例。

本书汇聚了增强现实的前沿核心算法，不仅介绍了相关技术的基本概念和方法，而且较为详细地阐述了虚实视觉融合最为精妙的算法原理及架构设计，力求为广大增强现实技术和系统的研发者提供所需的实现途径。

END

本文摘编自《增强现实：原理、算法与应用》（鲍虎军，章国锋，秦学英著. 北京：科学出版社，2019.5）一书“前言”“第1章增强现实概论"，有删减，标题为编者所加。