重塑体验：扩展现实（XR）技术及其教育应用展望——兼论“教育与新技术融合”的走向
本文由《远程教育杂志》授权发布
作者：褚乐阳 陈卫东 谭悦 郑思思
摘要
计算机图形与仿真技术的不断发展为人类带来了众多的沉浸式技术，人类的活动时空从自然平台发展到数字化平台，面临着感觉方式和实践方式的转型。这也深刻影响到社会生产方式的变革，涉及了人们生活方式、行为方式、感知方式和思维方式的转轨。虚拟现实（VR）、增强现实（AR）与混合现实（MR）等技术，通过不同程度的数字信息与现实环境的融合，为用户带来了全新的体验模式。与当下的VR、AR、MR相比，扩展现实（XR）更强调于虚拟世界与现实世界的弥合，以及缩小人们、信息和体验之间的距离壁垒。XR技术具有情境感知、感觉代入、自然交互和编辑现实等特征，其在教育领域的应用具有人本性、智能性、交互性、生态性和生成性等教育应用特性。具体表现为：（1）可为学习者提供智能教育产品设计；（2）更有利于游戏化学习的实施；（3）可创设智慧的学习环境；（4）可优化创客教育、设计教育、特殊教育等的实施。XR技术的教育应用体现出的教育与新技术融合的走向，主要表现在：体验为王、智能为基、边缘计算、跨空间的无缝融合、多模态交互和支持全纳教育等方面。XR技术成为了计算机图形与仿真技术、人工智能及物联网技术在教育领域综合应用的重要技术形式，其具有的智慧感知、自然交互属性，可更好地服务和支持未来教育，致力于面向未来的创新人才培养。
关键词：扩展现实（XR）；教育应用；融合；技术赋能；数字孪生；脑机交互；边缘计算
一、引言
随着人类进步及信息科学技术的发展，以人工智能、大数据、物联网、大数据分析、虚拟现实等为代表的先进科学技术已经进入教育场景，为社会变革带来了更深远的影响。这些技术在教育领域的应用，使得教育教学过程正在打破时间和空间、经济和文化的壁垒，也深刻改变着人们的生产、生活、思维和学习方式。计算机图形与仿真技术的不断发展为人类带来了众多的沉浸式技术，人类的活动时空从自然平台发展为数字化平台，人们的感觉与实践的方式开始转型，生活、行为、感知和思维的方式也随之转轨。
美国计算机图形学之父 Ivan Sutherlan，于1968年开发了第一个计算机图形驱动的头盔显示器HMD及头部位置跟踪系统这一VR技术，这在技术发展史上具有标志性意义。近年来，虚拟现实（VR）、增强现实（AR）与混合现实（MR）等技术，通过不同程度的数字信息与现实环境的融合，为用户带来了全新的体验模式。与当下的VR、AR、MR相比，扩展现实（XR）更强调于虚拟世界与现实世界的弥合，旨在让人们的信息和体验之间的距离消失。麦克卢汉（Marshall Mcluhan）认为，“媒介是人的延伸，人的任何一种延伸，无论是皮肤的、手的还是脚的延伸，对整个心理和社会的复合体都产生影响[1]”。媒介的产生继而丰富和开创了人类感知与认知世界的方式、途径。以VR、AR、MR为代表的计算机图形与仿真技术的出现与应用，为人类提供更多感知世界的途径和手段。由印刷术到智能手机的生产，人类越来越被技术所赋能。
近年来，人机交互方式随着触控显示技术、沉浸式技术及自然语言处理技术的发展，变得更为注重迎合人类的自然感知。而机器的学习能力也在向人类的思维靠拢，如情境分析、图像识别及深度学习等。当前技术发展的亮点在于，为更好地满足人类的需求，技术在不断进行适应性调整。如XR技术，它提供了各种模糊实体空间和模拟环境之间界限的体验，通过视觉、听觉、嗅觉和触觉信号为用户创造一种沉浸感。XR作为“技术中介体验”结合数字和生物现实，将信息带到了人们面前，帮助人们快速洞察信息。一方面，XR技术能够在3D环境中展示数据，使之更贴近人类实际观看和情境想象的体验；另一方面，用户借助XR技术可将虚拟数字对象叠加到现实世界，同时也可将物理世界的物件引入到虚拟世界中。
在《国家中长期教育改革和发展规划纲要（2010-2020年）》中提出了，“充分利用优质资源和先进技术，创新运行机制和管理模式，实现技术对教育的革命性影响”[2]发展目标。XR作为近几年快速发展的新型交互技术，能够实现AR、VR和MR的融合发展。它不仅成为一把开启新一代交互革命的钥匙，重在通过重塑学习方式回归教育本质，对培育创新型人才和教育普及产生了深远的影响。而且它也为教育教学等诸多领域，带来新的挑战与机遇。
二、扩展现实（XR）技术的特点与实现机制
（一）XR技术概念的提出
1.VR与AR、MR的发展
计算机仿真技术的不断发展为人类带来了众多的沉浸式技术，其中以增强现实、虚拟现实与混合现实为世人所熟知，这些技术通过不同程度的数字信息与现实环境融合，为用户带来了全新的体验模式。扩展现实技术的出现，与当下流行的增强现实、虚拟现实技术的发展密不可分，但是这两种沉浸式技术却有着显著区别。
表1所展示的为虚拟现实、增强现实技术发展的历史关键节点，这两种沉浸式技术从文学构想到现今流行于大众，经历了百年的发展史。我们从历史发展的维度可以看出，虚拟现实侧重于对现实情境的仿真、模拟；增强现实更注重利用技术延伸人类对于现实环境的感知，来打破现实的“局限”。因此，准确认识两种技术的发展历程，是构建扩展现实技术概念的必经之路。
表1 VR及AR技术发展历史关键节点表
增强现实能够把含有字母、数字、符号或图形的信息，叠加或融合到用户看到的真实世界中。AR技术的早期发展，主要着眼于航空领域中飞行员在操作过程中无法兼顾到的复杂操控设备与飞行器外部环境的安全问题。即AR技术早期设备以平视显示器（Head-up Display，HUD）为主，来为飞行员提供必要的数据和符号等信息。因此，早期AR技术主要是支持视觉增强的光学透视显示器（Optical-See-Through，OST）为主的硬软件系统。而随着技术的发展以及智能手机的普及，手持、移动的视频透视显示器（Video-See-Through，VST）逐渐普及于大众。通过捕捉、识别真实环境中的标记物，基于VST的AR技术充分利用智能手机的特性，将虚实融合信息实时显示在触控屏幕上，使用户能够与之交互。因此，Azuma认为，现代增强现实的初级系统特征包括：虚实融合、实时互动及三维注册[3]。
虚拟现实技术是指综合利用图形系统和各种现实及控制接口设备，在计算机具有的生成性、可交互性的三维环境中，为用户提供沉浸感觉的技术[4]。当下虚拟现实技术的实现，主要是通过一套特殊设计的头盔设备，将用户与物理世界隔绝开来，完全依靠计算机生成的环境取代用户对真实世界的感知。因此，也可以认为虚拟现实技术依赖于人类大脑所产生的幻觉，它使人沉浸在独立的时空中。因此，虚拟现实技术主要特征包括：沉浸性、交互性和构想性。
与增强现实技术不同的是，完全沉浸式的虚拟现实在空间上是有限制的，并在极大程度上将用户与现实世界隔绝开。也就是说，一旦用户进入虚拟现实环境，便失去与周围现实环境的联系，严重地限制了移动性。当下虚拟现实的运用领域，集中于专业级应用市场及游戏娱乐行业，但因其设备价格高昂、应用软件较少等问题，更多地呈现出“有价无市”的现状。谷歌公司于2014年发布的“Cardboard”廉价虚拟现实原型设备，能够将智能手机作为体验虚拟现实的3D眼镜。尽管沉浸性效果不及专业级头显设备，但这对虚拟现实技术的市场普及起到了一定的推广作用。
技术的交叉发展，使得增强现实技术与虚拟现实技术间的技术界限愈加模糊。在形式上，两者似乎分别朝着现实以及虚拟两个方向发展：增强现实所增强的是人类对于其所处真实环境的感知能力；虚拟现实则着眼于人类在其自身营造的数字空间中对逼近真实环境的感知体验。未来可以预见的是，一个被人工技术高度改造的虚实融合空间会出现，在其中，现实与虚拟的界限已经模糊。换言之，技术生态的成熟，使得增强现实与虚拟现实技术呈现融合之势。当下流行的MR技术即是具备初级融合特征的沉浸式技术，其尤为强调真实世界、虚拟世界及数字信息的无缝融合[5]。
MR对于AR的发展表现在“三维注册”向“上下文注册”的转变上，即在对当下用户的位置、兴趣及需求等信息的充分感知基础之上，为用户进行定制化的设计。MR注重对于用户本身以及真实环境的全方位的智能感知，注册、合成并关联各种有意义的数据，为用户创造个性化的体验。以“虚拟台灯”为例，MR技术不仅能够准确“注册”台灯在真实空间中的位置，同时能够准确感知何时需要开启、关闭，或者根据用户需求调整其亮度。
MR对于VR的发展，表现在能够将现实世界中的内容代入虚拟空间，实现虚拟环境的即时生成与构建，并保持与现实空间的协同，以提高用户体验的自由度。三者主要的技术区别如表2所示。微软公司的HoloLens，以及Magic Leap公司所研发的混合现实设备，能够代表现阶段增强现实、虚拟现实技术的融合情况。但其仍是以视觉为主要感知方式的显示设备，在体验方面仍有局限之处，这也为扩展现实技术的提出，奠定了基础。
表2 AR、VR及MR技术对比表
2.沉浸式技术的哲学思考
从教育的角度审视，AR、VR及MR的发展不仅能够为学习者提供新的学习工具、学习平台及学习体验；而且也为支持教育完成“实现人类的自由全面发展”的终极目标带来可能性。为此，我们需要关注其发展对于学习者认识世界、改造世界所带来的新机会，即需要从哲学的视域下，对沉浸式技术支持学习的方式进行深层次的审视。
无论AR、VR还是MR，其背后所支持的，都是随着计算机技术不断发展而更新的 “虚拟观”。Mana Farshid等基于后现代主义哲学家Deleuze对现实的哲学思辨，提出了一个“真实现实、虚拟现实连续集”[6]，如图1所示。
图1 真实现实、虚拟现实连续集
该连续集中所强调的现实世界，本身是“虚实交织”的。这里“虚拟”并不是指无实体的数字产物；相反，数字产物在其哲学思想下归结于现实的一部分，是能够被人类感觉器官所察觉到的 “真实”。“虚拟”是指在过去和未来中持续存在、但始终未成为“现实”的真实，是一种无穷的可能性。在20世纪后期，计算机仿真技术、数字显示技术等发展较为成熟之际，“虚拟”是作为一种与现实性相对的概念哲学范畴被普遍提了出来。广义的“虚拟”被认为是一种超越现实的创造性思维活动，在人类文学艺术、宗教神话以及科学创造活动等任何一种思想文化现象中，都具有超越现实的 “虚拟”性[7]；狭义的“虚拟”也即数字化虚拟，指用0-1数字方式去表达和构成事物以及关系，从而形成一个与现实不同但却有现实特点的真实数字空间[8]。数字化的“虚拟”在“虚拟”定义的发展上，主要体现于其在形式与功能上，反映出一种感性的真实存在。尽管，其并不指向现实世界中的实物，但仍能够被人体感官感知；但其同时又是假的，与被虚拟的现实对象有着本质区别。
因此，从认识论的角度看，数字化虚拟创造了“真与假的统一体”，即一种区别于现实的经验——“真实”的新形态，这是对于传统现实性思维“非真即假”的思维方式的变革。现实性思维的求真性特征，决定现实性实践是以真理的 “符合论”为理论表现的，强调“是什么”，并通过抽象的概念表述出来。数字化虚拟的背后是以二进制为表达方式的人类思维中介（表述、建构）系统的革命，因思维表述、建构均是以间断性表达连续性，但只要间断性的速度达到一定临界点，间断性便以连续性的面目出现。
以二进制为基础的数字中介的发展、进步，能够消除思维的间断性，人类的思维方式从“求真性”转变为“求解性”，从定义式思考进入到不断运动的策略性思考[9]，即高阶思维过程。借助数字化虚拟平台，思维运动可以更为直观，从而使人们摆脱了对现实合理性批判、否定的模糊性及不确定性[10]，人类可以将不可能的可能性纳入认识域，如，德里达所描述的“方形的圆”、“一座金山”等。
现代文明的病症在于理性对感性的压制[11]，席勒称之为“理性暴政”。马尔库塞（Herbert Marcuse）认可并延伸了席勒的这一观点，认为发达工业社会统治阶级所鼓吹的社会意识形态是一种 “虚假意识”，人类逐渐沦为失去自由与批判精神的“单向度的人”，其追求的幸福日益呈现出低级享乐的鄙俗性特征，自由不可避免地与幸福分裂[12]。数字化虚拟的出现，改造了现实性思维、实践方式，将人类从对真实的依赖中解放出来，“自由”与“幸福”有可能重新联系在一起，从而促进人的全面发展。同时，区别于传统数字化虚拟的超文本、平面图像等二维媒介材料，沉浸式技术通过跨媒介支持、非结构化的视、听、触等多感官刺激途径，进一步解放人的感性思维，激发了创造性思维的产生。
综上，无论是VR、AR还是MR技术，三者在未来的融合式发展上，有望能够打通现实与虚拟之间的界限，创造出一个无需区分虚拟与现实的“虚实融合”的生存环境。届时，个体生命的存在价值，将获得无限的提升和张扬。
3.XR概念的提出
扩展现实，英文为 “Extended Reality”或者“Cross Reality”，常见的缩写简称为“XR”或“ER”等。XR最早出现于1961年Charles Wyckoff为他的XR电影注册的专利文件中，这部电影能够使观众看到常人所不能见到的诸如核爆炸等景象[13]；1991年，Wyckoff与Mann等合作，将高动态范围图像处理技术与VR、AR技术结合，打造可以显示“XR”视觉画面的头显设备，以增强人的感官能力[14]。术语“XR”、“X-Reality”、“X-REALITY”及“XREALITY”在 2010年被索尼公司注册为商标，被广泛应用在智能手机“Xperia”系列带有增强现实功能的机型中。
索尼公司使用XR或X-Reality的理念，与Wyckoff-Mann利用HDR技术延伸人类感官能力思路是一致的[15]；Unity公司在其发布的官方培训课程中，将“XR”中的“X”比作数学中的未知数，该未知数包括了增强、虚拟以及混合现实的意味，“XR”则是建立在Milgram“虚拟现实连续集”上任意一点。Unity公司为此推出了专门配合VR、AR及MR内容开发的XR插件，这也表明了“XR”是一种涵盖性术语；Coleman等将“Cross-Reality”定义为由泛在的传感器、驱动装置网络以及共享的线上虚拟世界组成的整体环境，并且这种环境是由以上三种技术集合组成的[16]。该定义将扩展现实技术定义为现实与虚拟系统之间、信息与媒体之间的交互技术；高通公司则将“XR”定义为新一代移动计算平台，具体来说，“扩展现实技术是一种涵盖性术语，包含了增强现实、虚拟现实、混合现实及其他相关的，因技术进步而可能出现的新的沉浸式技术[17]”。
国内中山大学哲学系教授翟振明是较早提出扩展现实概念的学者，他认为从技术综合性和广度来讲，扩展现实是将互联网、物联网和混合现实技术结合起来技术形式；从哲学角度讲，扩展现实将是创造人类未来“虚实融合”的新世界模式，尤其强调在拓展现实中人类的自由意志活动。如表3所示，在其著作《有无之间：虚拟实在的哲学探险》中，他着重阐释了虚拟现实中的“人替”、“物替”以及扩展现实中的“人摹”、“物摹”和“人替摹”[18]。其构想的未来扩展现实概念，与近年流行的数字孪生相接近。所谓数字孪生（Digital Twin）是一种集成多物理、多尺度、多学科属性，具有实时同步、忠实映射、高保真度的特性，能够实现物理世界与信息世界交互与融合的技术手段[19]。
表3 翟振明的扩展现实哲学要素
未来XR技术将会与人工智能技术、物联网技术高度融合，数字内容将会在其支持下，以更为直观可感的形式出现在真实空间中。XR涵盖了实现虚拟现实、混合现实、增强现实、影像现实和其他现实的硬件、软件、方法和体验。其中，“X”可以看作是V（R）、A（R）或M（R）的占位符，尽管它也表示未定义的或可变的质量/数量。因此，XR的定义大多包含平台和内容，让用户可以将数字对象带进现实世界，或者反之，认为实体对象存在于数字场景中。
结合AR、VR、MR技术的特性以及XR的相关概念界定，我们认为，XR应当具备情境感知、感觉代入、直观交互及编辑现实的四个特性。
（1）情境感知。情境感知区别于实境感知，是实境感知的高阶形态，体现的是从普适计算向认知计算的跨越。实境感知强调对周围环境各种量化信息的数据获取、分析及处理。情感感知的感知客体超越了客体本身的物质特性，包括虚拟世界的数字信息。例如，情感感知关注于感知主体本身在体验过程中所产生的心理反应，这不仅要求对于环境数据、人体各项指标数据的处理，还包括对于量化体验领域中相关指标的分析，藉此为用户提供最好的与上下文语境相关联的体验。
（2）感官代入。感官代入带来了全新的沉浸层级，人类的感觉将会超越视觉，在扩展现实技术中发挥更为突出的作用。XR技术能够将物理世界与数字媒体融为一体，创造出真实世界的虚拟感觉以及虚拟世界中的真实感觉。借助于数字用户交互界面，包括气压场、可变屏幕和特殊控制器等，触觉技术能使人体验到与现实生活一样的物体触感。例如，当用户触摸到虚拟宠物，不仅能看到它的动态反馈，也能感受到其毛皮的触感等。因此，扩展现实技术应当能使人类的五感以物理世界中互动的方式与电脑进行交互。
（3）直观交互。扩展现实技术所追求的直观交互要求技术本身“不可见”，传统的AR、VR及MR因设备的局限性，常常会导致不良体验的产生。人机交互先驱Bill Buxton认为，与技术互动应该是自然而然的，“不是设备操作员，而是作为人类而存在的[20]”。从这个需求出发，对直观交互的设计，包含了手势交互、语音交互、姿态交互、眼动交互以及脑机交互等五个维度。
（4）编辑现实。传统的物理存在与虚拟物体之间的区别在于：物理物体通常是静态的，而虚拟物体是非静态的，可以随时改变，并且具有不同的属性。XR技术对于AR、VR及MR技术的重要发展在于：其改变了物理对象的属性，使其呈现出非静态化的特征，用户可以与现实环境进行双向对话。因此，物理对象在XR技术的支持下，实际上是可以被编辑的，用户可以对其进行“出厂设置”之后，再决定如何使用它。
（二）XR技术的实现机制展望
1.基于技术构成的实现机制展望
高通公司于近期发布了其布局已久的XR移动计算平台以及XR1芯片，公司XR亚太区负责人郭鹏认为，AR、VR或者MR的底层软硬件技术，其实很多都是相通的，尤其与芯片相关的支持技术以及软件开发包（Software Development Kit，SDK）[21]。 因此，XR技术的实现机制包含三种沉浸式技术的综合发展，如高通公司在2017年发布的XR报告中，提出了XR眼镜的概念图[22]（见图2）。
图2 高通发布XR眼镜概念图
可见，XR技术并不仅仅局限于终端设备，图2中的XR眼镜是一种以视觉为主的“瘦终端”设备，而XR则包括了技术环境在内的沉浸式系统。因此，针对高通的XR技术展望，我们认为XR技术的实现技术应当包括：输入系统、处理系统、输出系统以及泛在技术环境，如图3所示。基于对XR技术路线图的设计，以及结合当下AR、VR及MR发展过程中的各种实现技术的特点，我们对XR实现技术作了未来展望，如表4所示。
图3 XR技术实现预想技术路线图
2.基于用户感官体验的实现技术展望
（1）视觉体验实现技术。未来的扩展现实显示技术，将采用一种新型的光学影像投射技术，外观使用一种高耐久度的半透明材料[23]。与这种显示介质技术理念相接近的有微软公司研发的HoloLens；还有Magic Leap公司将在未来发布的增强现实系统中的显示装置；以及Innovega公司研发的光学器件与显示器分离的名为iOptik的系统。HoloLens通过全息波导技术将字母数字、符号和图形信息，叠加到使用者所感受到的真实世界，将呈现在使用者眼前的高清全息图与其物理环境在空间上相互关联并固化[24]；Magic Leap公司将发布采用基于光学器件的适应性光场显示技术，从其申请的“虚拟现实3D成像系统”专利文件上来看，该专利能够在没有显示介质的基础之上，直接将图像投射到用户的视网膜上的显示技术。Innovega眼镜系统的显示技术，是由装有高分辨率微型显示器或投影仪的眼镜，与能够将真实世界和媒介平台的光子，聚焦到佩戴者视网膜上的iOPtik隐形眼镜。未来的扩展现实技术，应当是朝着增强现实显示器过渡的显示技术（全息波导、自适应光场及分离式显示等），因为虚拟现实设备的主体近眼式立体3D显示器，仍有可能对用户健康造成潜在的危害性后果。
表4 支持XR技术实现的相关技术发展表
（2）听觉体验实现技术。声音能够与扩展现实支持的其他感官体验进行整合，也可以独立存在。艺术家Janet Cardiff早在1991年，一直在创造试图为用户带来独特体验的“音频漫步”项目[25]。Detour公司借鉴Cardiff的灵感，提供了一系列位置感知增强音频漫步的体验。其主要通过智能手机的惯性测量单元及GPS全球定位系统，根据用户的位置等信息的分析，智能推送特定的音频内容[26]，以促进共情与理解。扩展现实技术所采用的音频设备可以是骨传导耳机，其原理是通过震动将声音从颚骨传播到内耳，因此并不会阻塞周围的自然音，实现“敞耳聆听”的效果，这对于以增强现实为目的的扩展现实技术应用来说是一大优点，但对于高度沉浸式的虚拟现实环境而言，或许是一种“真实”噪声的干扰。因此，环境定向声场对于扩展现实技术来说同样重要。HyperSound的音频技术，使用超声波在窄束中引导声音，并将其限制在特定位置，以精准创建音频区域，用户可以在公共空间创造“私人听觉区域”[27]。因此，扩展现实技术的声音解决方案，应当由终端设备与环境共同支持，以营造丰富的三维听觉声场效果。
（3）触感体验实现技术。触感体验实现技术多被运用于虚拟现实技术中，通过营造接近真实世界的触觉感知，来分散用户对于显示技术缺陷所带来不良体验的注意力。也正是由于虚拟现实技术开发者专注于解决视觉显示方面的技术壁垒，而导致触感技术的发展有所滞后。在虚拟现实技术中的触感设备主要有：集成于操作杆的震动式反馈装置、触感穿戴设备（手套、靴子及背心等）、触感笔及触感座套等。增强现实领域的触感设备，主要包括基于静电场[28]、超声波振动等原理[29]，以智能移动设备为载体的触感屏幕、变形屏幕[30]以及基于反电动振动技术[31]、空气涡流压缩立场的非接触式触感设备等。高质量的触感体验技术仍面临着巨大的挑战，包括人体触感面积大、相关公司的专利封锁等原因[32]。未来，扩展现实技术的触感实现的突破口，将落在以某种形式的神经触觉刺激上，如Tesla Studio公司开发的Telsa Suit，它是一种通过微型电极模拟传入神经纤维、向用户皮肤，提供微小电脉冲的模块化服装。
（4）数字味觉、嗅觉体验实现技术。味觉与嗅觉是唯一与脑部边缘系统直接相连接的两个感官，主要负责情绪和记忆。数字味觉的发展与人脑密切相关，舌头在电和热信号的刺激下，能够使用户体会到酸、苦、甜和咸味，这取决于通过电极的电流的频率。关于数字嗅觉的实现技术，最令人印象深刻的莫过于谷歌公司在2013年愚人节发布的“Google Nose”，它是用于捕捉和搜索气味的数字方法。尽管是一个恶作剧，但对于未来扩展现实技术来说，其将数字香氛体验纳入技术体系的设计并不牵强。另一款FEELREAL面具，能够与Oculus Rift VR头显设备连接，其本身是由七个可移出机匣的气味发生器将气味蒸发到用户鼻子中，结合三维视频游戏和电影情节，振动产生全方位的体验[33]。开发者还设计了Feelreal SDK，在平台上添加不同的气味和效果，以增强用户的沉浸式体验，但遗憾的是在众筹网站上并没有完成它的众筹计划。综上，扩展现实技术支持用户的味觉、嗅觉体验，基于神经科学家David Eagleman的设想，通过互联网直接提供实时数据传送到大脑，使用户直观地体验和感受这些数据而不需要感官加工[34]，这也是脑机交互的发展趋势之一。
（三）XR技术的内容开发与叙事准则
未来，XR技术将会是一种多感官参与的新型媒介技术，设备的轻量化将使得用户能够忽略技术的痕迹，使其直接沉浸在内容之中，借助于以用户为中心的上下文情境驱动的个性化体验，用户身临其境般的感受将被进一步丰富。存在度是衡量虚拟环境是否成功地使用户沉浸其中的度量，有学者将其定义为“非调和幻觉”，在其中“媒介看起来似乎是隐性的或者透明的，其用户和内容分享相同的物理环境”[35]。因此，这种直接性逻辑决定了媒介本身应当消失，用户不再意识到自己面对的是媒体，而是站在“直接面对内容”的地位上[36]。
冲破技术景观的限制是未来扩展现实技术应用设计首先要考虑到的，如，电影理论家Tom Gunning将早期电影作为一种“景点电影”进行讨论，其观点认为“使画面快速移动的机器是迷人的源泉，而不是主题和故事的代表”[37]。超越性创新和创造有意义的体验的一种方式是连接用户的情境，在扩展现实技术中的叙事策略，存在两个重点：一是强化；二是记忆。
（1）强化。强化是指对目标用户群体具有强烈情感的情境体验。XR技术通过“虚”“实”融合的表现方式，使目标用户群的情感强化体验更为深刻。例如，当用户亲身前往长城，便可以亲身感受到长城对于我国历史的影响之大，强大的原生情感力量能够加深人们体验的影响力。
（2）记忆。记忆是更为个性化的强化策略，强调对于个体体验的情感和意义。例如，用户对于特定事物的注意力停留，能够被扩展现实应用所识别，继而通过营造个性化情境增强其体验。再比如，当用户某时刻长时间注视其小时候的照片，扩展现实系统能够留意到这一细节，并在用户闲暇时播放照片组的幻灯影像，这种体验是个性化的，但却能激起用户强烈的情感。
三、扩展现实（XR）技术的潜在应用领域
（一）商业领域
XR在商业领域的运用主要包括：变革商业运营方式、人力资源管理以及广告宣传活动等。前瞻性的商业巨头意识到，XR技术具有整合AR、VR等技术的潜力，其可改革传统基于互联网、视频会议等传统商业交流方式，呈现“泛现实、零距离”的特征。商业数据如银行流水账单、表单数据等在XR中，将以更形象化的方式出现，能够更好地匹配人们观察并拓展与世界互动的方式。BLUairspace公司将XR技术归为一类平台，增强现有媒体，将消费者的移动设备转换成可以看到无限可能性的新窗口，包括从优化远程工作到快速开设零售门店等商业运作能力。今后，随着XR逐渐普及，沉浸式体验将消除以往最难跨越的现实时空距离。
与此同时，XR能够帮助人力资源部门改善员工的工作生活，主要包括：员工培训、增强员工企业公民意识以及跨国公司员工合作模式。XR可以通过超逼真的模拟来培训新员工，并鼓励员工亲身体验他们的角色。这对于需要大量关注细节的工作尤为重要，因为它可以使新员工在现实生活中执行高压或高风险任务时感到更放心。虚拟现实这一领域已经非常突出，已有63%的企业使用或计划使用VR进行培训和模拟①因XR现有硬软件生态仍不成熟，原型机还未被开发出来，因此，案例部分尽量以满足XR基本定义的AR、VR、MR应用为主。例如，消防员通过VR消防演练系统，在不同的情境中模拟火灾险情，能够时刻为实战做好充分准备，这在VR训练领域获得较大关注。
再如，VR培训在提升员工的企业公民意识领域也有着积极作用。企业公民意识是指员工为了同事、公司利益而自发做事的精神，这需要员工与从事的行业建立一定的亲密感。未来，XR技术所营造的高度沉浸感，能使员工更容易感受到与所显示信息的情感联系，以减弱注意力分散，因此，公司会更关注XR等突破性技术。
目前，许多公司在全球不同区域设有分支机构，而在工作场所实施XR技术，可以提高所有员工之间交互水平。XR技术也能为视频会议提供了完全不同的体验，员工可与他们的同事共享相同的虚拟空间，彼此之间的联系会更加紧密。因此，企业在工作场所使用XR技术，比传统方法更有利于员工完成协作项目，也有助于员工开展远程工作。
XR技术也能为零售商构建新的销售空间。通过XR技术，零售商在为消费者提供新产品体验的同时，也为自身收集了目标用户数据，包括用户兴趣以及他们的购买意图。相较于传统数字广告，如弹窗、横幅广告等，扩展现实技术的所构建的广告环境，所提供的产品体验更容易被消费者接纳。如，以Trivver展望的扩展现实环境的广告投放平台为例，T平台构建了一个可同时为出版商、品牌商、代理商以及消费者提供服务的系统。零售商可在用户体验情境内创造超市、商店等隐性广告内容，还可以通过这样的平台测试开发新的环节与市场。这使得用户购物体验更加丰富化，进而推动零售产业的发展。
（二）医疗健康领域
过去十年间，沉浸式技术在关乎人类健康与福祉的医疗行业中，展现出巨大的发展潜力。未来，XR技术在医疗领域的主要应用包括：提高医疗培训的临场感、强化心理疾病的疗效以及增加远程医疗的准确性等。VR、AR技术在医疗培训方面各有侧重点，如VR能够最大限度模拟真实手术的场景，但需要借助控制器完成手术过程中复杂、精确的动作；AR技术能够在训练过程中为用户提供信息指引等辅助功能，但并不能提供较好的手术临场感，并且在真实空间中模拟手术，也会带来训练成本较大等问题。穆格工业集团与阿姆斯特丹“亚科学术中心”合作研发Simodont牙医培训系统，能够将3D可视、触觉与力反馈技术以及声音相结合，具备了XR技术实现医疗培训的初阶功能。该系统允许操作人员通过佩戴偏光立体眼镜查看患者的口腔3D模型，并且当其移动真实手用器械时，窗口内也随之呈现精确模拟相关动作的虚拟影像。触觉反馈器及立体声场能够准确反馈真实的操作触感及声像，以更直观的方式提供反馈。概言之，XR技术能够以更轻量级的终端设备，支持多元训练体验，并且可以塑造更真实的手术情境。
XR技术的情境感知特性，能够被运用在如创伤后应激综合症、恐高、飞行恐惧症等心理疾病的延长暴露疗法中。延长暴露疗法主要包括：想象及现场暴露法，指的是通过治疗师的引导，在可控的条件下使患者自述创伤经历，并将其暴露在恐惧源面前的方式，从而使其逐渐克服心理障碍的疗法。沉浸式技术对于该疗法的支持，主要体现在模拟患者恐惧情境上，该疗法可以帮助患者缓慢克服并习惯于焦虑刺激源的存在。例如，帮助战后士兵治疗创伤后应激综合症的Bravemind系统，该系统不仅可以模拟战争环境的景象与声音，也包含地面平台式的触觉反馈部件。并且该系统还内置了重低音音响，能够模拟轰炸、交火等环境噪音，在实际治疗过程中疗效显著。总之，XR技术的应用优势不仅在于情境的高度模拟，同时其借助于人工智能系统形成智能治疗代理的在线型医疗辅助系统，可实时评估、引导患者的治疗，以提高治疗效率。
传统的远程医疗技术更多的是建立在高速网络的基础上进行数字、图像及语言的综合双向传输技术手段，包括远程医疗会诊、远程医疗教育及建立多媒体医疗远程咨询系统等。XR技术在远程医疗方面最有价值的应用方式，是介入临床手术的真实医疗情境之中，具体包括术前讨论、术中操作指导及术后康复指导等。XR技术能够支持多端医疗团队，实时生成目标患者的数字孪生形象，通过直观的医疗操作共同开展手术。例如，中国人民解放军总医院（301医院）泌尿外科张旭教授团队，将混合现实技术与机器人微创手术技术相结合，在海南三亚成功完成一例混合现实远程协作机器人手术，实现优质医疗资源的合理分配。
（三）军事领域
沉浸式与增强型现实技术，已被广泛运用于大部分国家的军事国防领域，包括飞行员飞行模拟与训练、任务规划与预演及单兵情景意识共享等。对XR技术概念的解释，经常被用于军事领域的无人机训练中：士兵通过观察显示器，操作遥控设备控制无人机，对目标点进行精确打击，完成了从虚拟到现实的跨越。在模拟飞行训练方面，美国国家试飞员学院开发的类似XR技术的融合现实（Fused Reality）的创新性虚拟/增强现实综合系统，可通过外部摄像头，捕捉飞行环境信息，并置入显示单元的惯性测量单元来检测用户头部方向，再结合航空总线提供的飞行移动数据生成精确的图像，为飞行员提供虚实融合的飞行环境，如在航线上生成虚拟空中加油机，模拟危险的空中加油动作等。
对于国防部门而言，模拟和共享战区作战画面，能够为作战任务的规划提供帮助。XR技术能够保证战区指挥系统、战场指挥系统的实时指令与作战人员以直观的形式保持协同，以提高指挥效率。例如，美国军方研制的PARASIM伞兵指挥官系统，能够实现与其他系统的无限联网，使伞兵指挥官能够在跳伞过程中实时掌握其他成员的位置、状态信息，提高作战指挥素养。又如美国军方研制的Nett Warrior集成化步兵情景意识系统，利用头戴式光学显示器，通过联网平视设备增强士兵的情景意识，使他们能够准确辨别战场情况，从而提高生存概率。XR技术在军事领域上最重要的应用特性是消除时空障碍，使士兵能够实现高效的情景模拟以及人、军事资源调动等协同作战的需要。
（四）工业、制造业领域
基于传感器的物联网、智能工业机器人以及增材制造技术的快速发展，这些技术在未来与XR技术相结合，共同赋能第四次工业革命，将彻底改变传统的工业流程。实践证明，沉浸式可视化显示技术已在多个领域得到有力的推广和广泛的运用，这些技术与工业大数据一起，帮助工程师将科学、数学和实证证据，完全运用于各类结构、机械与流程的发明、创新、建造与改善工作中，实现工业制造场景的智能化人机交互和管控。这种变革是以生产制造行业为开端的，如江铃汽车集团利用AR技术的工业解决方案，对整个发动机装配环节进行实时管控，包括装配前的零件核验、装配过程对员工的可视化指导与提醒、装配完成后的系统核验等，提高了发动机的良品率。
美国亚利桑那州国家大学的沙卢布（Jad Chalhoub）和埃尔（Steven Ayer），对 MR 技术在建筑领域的应用进行了探索。该研究将建筑3D模型传送到施工现场来支持电气管道的施工。此外，波音公司也将增强现实技术应用于飞机的制造，以减少飞机零件装配失误率，这大大地提高了工作效率。未来的XR技术不仅能完成“识别、匹配”等基础校验工作，同时也能够针对生产流程中的任何问题提供实时的解决方案，连接各职能部门，甚至打通整条产业链的数据通道，采用直观的3D可视化语言，来保证产业合作的畅通。因此，XR技术对于工业、制造业的运用潜力是巨大的。
（五）交通领域
XR技术在交通领域的应用展望，主要可以分为面向驾驶员的行车辅助系统、面向乘客的乘车体验系统、道路交通管理系统以及空中管制系统等。驾驶员行车辅助主要以平视显示系统（HUD）实现的，宝马公司最新发布的AR HUD全风挡光场显示器，可以根据实时环境感应数据，将动态调整的数字信息投射到挡风玻璃上，进而利用反射原理将信息投射到驾驶员眼睛，减少驾驶员的注意力分散。为了增强乘客的乘车体验，福特公司研发了一款名为Feel the View的智能车窗，通过触觉反馈系统，使乘客能够与沿途风景进行互动。
未来，XR技术能够根据驾驶员或者乘客的需求智能化处理其眼前的环境。可以设想的情景是：当驾驶员与乘客在枯燥无味的公路上行驶时，XR能够模拟出在风景靓丽的草原上驾驶的情境，可以提升驾驶及乘车体验。在交通管理方面，海康威视公司研发的基于AR技术的云图交通实景指挥系统，通过在城市交通平面图上叠加交通元素，实现更方便的指挥调度，提高交通区域把控的全局性。欧盟资助的名为RETINA项目，利用XR技术提高机场高控制台的指挥人员的视线和情景意识，通过对天气、机场交通等数据的抓取、处理，生成直观清晰的航空交通图，来提高机场整体航班处理能力。即使在能见度低的恶劣天气环境中，XR技术也能够延伸指挥人员的感知能力。
（六）旅游业
在体验经济的时代，随着游客的体验诉求增强，传统的旅游行业依靠静态的图片、视频等多媒体手段吸引顾客的做法已过时。当下使用VR全景图以及AR为景点提供的实境导览等沉浸式技术，能够为旅游业面临的宣传困境指明道路。XR技术能够还原名胜古迹的历史场景，为游客营造全新的体验模式，但这也引起了产业界的争议：如果用户在远程利用沉浸式技术营造接近或者超越真实的旅游体验，那么，他们是否还愿意出现在真实景点？未来的旅游业应当认识到XR技术对于营造个性化旅游体验的巨大潜力。同时，旅游产业的盈利模式也应当适时转变，如可对XR用户远程访问收取增值服务费用等。
（七）教育领域
对AR、VR及MR在教育领域的运用，已有大量学者、企业机构进行深入研究，积累了大量案例，主要分为知识教育、技能训练及学习活动效能支持三个方面。黑晶科技为K-12教育打造了基于VR系统的沉浸式课堂，学生通过VR头盔能够直观体验宏观、微观等模拟场景，教师可以通过中控设备实时调整课堂教学活动。AR技术在近年来，以结合绘本教育的方式出现在早教市场，“涂涂乐”式AR交互式绘本，允许儿童将涂鸦内容扫描后立体呈现在智能终端上，并且能够伴随动画、音效的生成，激发儿童体验兴趣，提高其动手能力。
因此，未来XR技术能够允许学习者开展自主探索，以动态交互式的方式来探究学习活动。当然，XR技术在教育应用的方式潜力，也需要教师、家长等群体的配合与支持，以及教与学活动的同步升级，才能发挥最大潜力。
四、扩展现实（XR）技术的教育应用分析
（一）教育应用特性
1.人本性
未来教育是针对个体学习者的，体现以人为本的精神，为每一位学习者提供适合其特点的教学资源，关注每一位学习者的个体体验和学习需求。扩展现实技术应用能够根据学习者所处上下文情境动态调整内容，使学习者获得独一无二的学习体验。
2.智能性
扩展现实技术最重要的特征，是能够根据周围环境数据以及学习者本身所产生的生理数据，作分析、处理，从而分析出特定学习者、学习群体的学习特点，来提供符合教与学过程需要的相应沉浸式教学空间。
3.交互性
交互性是扩展现实技术教育应用的重要特性之一，其感官代入的特征，能够全方位为学习者提供抽象知识的具象模拟，进而使学习者能够更深刻的理解学习内容。
4.生成性
扩展现实技术是对于用户所处情境感知的同时，不断生成新的体验内容。在教学活动中，教育目标、教学方法等应根据学习者实际情况而动态调整，这与扩展现实技术的应用特征相契合。
5.沉浸性
扩展现实技术无论是对于现实体验的增强，还是对虚拟体验的模拟，其目的总是试图让用户能够忽略技术的痕迹，而沉浸于当前的体验活动之中。教育活动的沉浸性体现学生在体验学习过程中，对于学习活动的专注度。因此，扩展现实技术的沉浸性特征，能够支持其在教育领域的有效应用。
（二）教育应用的理论基础
1.具身认知理论
具身认知理论是梅罗庞蒂（Maurice Merleau-Ponty）在反对笛卡尔的身心二元论观点的基础上发展起来的。它强调我们是通过身体这一媒介来认识世界的，身体媒介为我们认知学习提供一种新的方式。只有当学习者的认知、身体与环境的三者进行有效互动时才能进行学习[38]。利用XR技术，学习者可以有效触发这三者的互动，通过看、听、触等的方式与所学独享进行直接的互动，可将原本晦涩难嚼的知识点转换为具象可交互的资源形式，从而形成有效认知。
2.体验学习理论
库伯（David Kolb）对体验学习的研究，主要阐述了体验学习是以学习者亲身体验为基础，通过自身体验与环境进行持续性的互动，来获取直接的、具体的经验，通过观察反思将经验转化为个体知识，再将其运用于新环境的一个循环往复的过程。XR技术应用于教育领域时，能够给学生提供一个可体验的场景，学习者运用身体及各大感官功能去体验去实践，再将从此中获得经验结合自身原有的主观认识，对于知识进行转化与再创，从而形成一个迭代进步的过程。
3.情境学习理论
1989 年，布朗（John Seely Brown）、科林斯（Allan Collins）与杜继德（Pau Duguid）发表了《情境认知与学习文化》的论文。在文中，他们进一步的阐述了教育心理学角度的情境学习，并认为，知识是具有情境性的，是活动、背景和文化产品的一部分，在其丰富的情境中，知识不断被运用和发展着。因此，知识的思考和情境是相互密切联系的，知与行是相互作用的[39]。一些研究者认为，学习者在生活中接受知识的能力比课堂上强，其主要原因在于教师在课堂上灌输式的知识输出，一方面没有激起学生对知识足够的兴趣；另一方面纯理论式的输出很难将所学内容应用于实际生活中。与之不同，XR技术可以为学习者创造一个技能运用场景，以帮助学习者将课堂知识转换运用到实际生活中；还可以在场景中添设特定的问题情境，在逼真、自然的交互方式下，培养学习者发现问题和解决问题的能力[40]。
4.心流理论
心流理论是由米哈伊·森特米哈伊（M.Csikszentmihalyi）提出的，作为正向心理学的概念已被广泛的应用在各个领域。所描述的就是一种活动的心理状态，个体完全沉浸在一个活动体验之中并具有充足的活力和满足感。在教育领域，学习者可以通过运用XR技术来对学习空间做合理设计，利用可视化的设计等，达到身心沉浸的目的。同时，要注意学习者在利用XR技术进行学习时心理状态，更注重学习任务的挑战水平要与学习者技能水平的相符。
（三）扩展现实（XR）技术的教育应用场景及分析
1.智能教育产品设计
教育产品主要是指面向教师的教学工具以及面向学习者的学习资源，如课本、玩具及教育软件等。当下的教育产品已经具备数字化的特征，从而呈现出一定的交互性，如交互式白板、交互式绘本等。但其并不具备“智慧性”，因而也不能超越工具本身，无法成为用户的忠实“伙伴”。
以绘本教育类产品为例，绘本以内容可视化的形式为儿童建构精神世界、培养多元智能。绘本作为一种叙事媒介，其发展是以纸质绘本、电子绘本（软件）、基于AR的交互式绘本为大致脉络。尽管AR技术能够将数字信息与纸质内容混合，但儿童的阅读体验仍然受到设备尺寸大、交互内容少等影响。未来基于XR技术的儿童绘本，会更加适应每个小读者的阅读计划或阅读习惯等，无需儿童握持智能手机等影响沉浸感的设备，而是通过轻便的XR眼镜进行体验。如，以恐龙为主题的科普类儿童绘本，当儿童视觉大多停留于食肉类恐龙上，XR绘本会根据儿童的注意力、阅读进展，自动调整相关的显示内容，集成显示与食肉类恐龙相关的信息，如战斗力排名、与其他恐龙间的生存关系等。这即可以增强纸质绘本的内容；也可以使小读者无缝穿梭在虚拟的恐龙世界中。例如，虚拟化身将如何躲避不同食肉动物的追捕等。因此，未来的XR绘本仿佛变成了有生命的数据库，交互的触发与内容的更新都是动态的。服务商可根据读者的环境，提供定制化的信息和体验。
未来XR智慧教育产品的实体与功能或将分离，实体更多充当“唤醒通道”，将学习者或教师与虚拟空间连接。例如，当教育产品与4D打印技术、XR技术结合，利用创造的沉浸式创作空间，教育产品实体会作为一种表达媒介，展现用户思维在真实时空中的表达。
2.游戏化学习实施
游戏化学习是伴随着严肃游戏或者说是教育游戏的发展而产生的新名词，强调的是借助游戏媒介或者抽取游戏设计中的元素、方法及技巧等，提升学习者学习动机，激发其主动学习。游戏化学习的难点在于维持学习者较高水平的学习动机。一旦学习者熟练掌握游戏情境中的规则、学习内容，按照心流理论的解释，学习者所面对的挑战与其自身的技能发展无法使其维持在“心流通道”中。因此，学习的沉浸感将受到影响、学习效率也会降低。XR技术创新的交互方式，能够使学习者“具身化”的与游戏内容进行交互，同时，其情境感知的特征也能实时分析学习个体的注意力、生理特征，从而量化分析其体验状态，灵活调整难易程度等游戏指标，促使心流的持续性，提高学习效率。
以未来化学领域游戏化学习为例，学习者能够在教室中操作其“人替”前往虚拟海域中去开采天然气等资源。XR技术通过分析学习者的情绪状态，灵活构建即将生成的探索场景，保证学习者能够持续沉浸其中。同时，学习者能够将开采的资源“带回”教室，与同学、教师一起分享、研究等，数字资源将能够以接近真实资源的互动形式被共享，这无异于完成了一次真实的冒险活动，为学习者留下深刻的印象。
XR技术对于游戏化学习中的教师角色转变也提供了一定支持，其直观交互的特性，能够使教师快速构建游戏化教学场景，通过口述、肢体等方式实时交互，即“所述即所得”、“所见即所得”及“所想即所得”，从而提高游戏化教学的效率。
3.智慧与智能学习环境创设
智能学习环境是一个智能化的学习场所或活动空间。它以学习者为中心，受到各种新技术、工具、资源和活动的支持。它具有灵活性、智能性和开放性的特点，为学习者的有效学习提供了简单而个性化的学习支持。因此，智慧学习环境应当具有情境感知、智能管控、开放资源及全向交互的基本特征。传统的基于屏幕的智慧教室构想，在越来越多的3D效果取代2D显示的时代潮流中，应该更进一步更新。作为未来沉浸式技术发展趋势的XR技术，能够结合环境数据、个体生理数据等，提供动态调整的教室环境（温湿度、光线等）；也能够针对学习者学习内容提供开放的跨媒介型、非结构化的学习资源；同时，其多模态的交互方式，还能满足学习情境中学习个体的不同互动需求。因此，XR技术支持的智慧学习环境，应当是下一阶段智慧学习环境的发展趋势，呈现人机协同学习、虚实无缝衔接、远程沉浸教育体验等特征。学习者在该环境中伴随着感性思维的介入、通过具象化的学习实践模式，学习者的高阶思维能力将会得到培养。
因此，XR技术支持的智慧与智能学习环境，在场地空间上要求具有实时变化的定向光照环境、声场环境，以配合实时融合虚拟数字信息；需要配备公共休息座位，专用的课桌椅随着显示、感知设备的可穿戴化而消失；教室不仅需要与学习者、教师互联，也应当与互联网、物联网形成的传感器网络互联，以保持数字资源的开放性等；教与学的过程应当体现一定的社会性，满足学习环境与外部世界的互通性，因此在教学内容的设计上，也应当体现知识与社会的关联性，培养学习者的社会责任感等。例如，在实际教学中运用XR技术，让学生快速理解抽象的空气动力学知识。一方面，教师可以在课堂内构建风力发电机等现实虚拟物体，结合具象三维图像讲解空气动力学原理；另一方面，学生可借助XR技术配备的智能助理的指引，设计小型发电风车，并可以利用虚拟风扇测试风车，以改良设计，争取获得更多电力。通过这种方法，学生更容易把握抽象的概念，并与实际生活联系起来。
4.创客教育
创客是指利用网络、增材制造技术及其他新兴科技，把创意转换成现实，勇于创新的一群人[41]。创客教育即鼓励学生以“创客”方式在学习过程中实现跨领域的融合，并不断地在设计中创造，强调行动、分享与合作，并注重与新科技手段结合，逐渐发展为跨学科创新力培养的新途径[42]。因此，创客教育实现了多学科融合、关注体验式学习以及注重合作交流而具有融合性、研创性及协同性，需要学习者主动思考，发现问题并解决问题。国务院也在最新发布的《新一代人工智能发展规划》中明确提出，要在中小学阶段逐步推广创客、编程教育。XR技术对创客教育的支持主要体现在增强创客教学、融合创客课程及变革创客学习三个主要方面。
（1）增强创客教学是指在教学环节中，教师通过XR技术中介，为学生提供立体、直观的教学指导，推动教学内容的多学科融合，教师由原来关注学生的知识掌握情况，转向关注学生知识综合能力、协同创新能力等高阶思维能力。同时，在师资配备上能够实现“异地同课”，集结优质教学资源。（2）融合创客课程是指XR技术能够真正实现项目为导向式的学习，因其能够根据学习者的知识诉求，动态生成学习资源，并指导其进行实践活动。（3）变革创客学习是指实践过程在虚实空间中协同进行。如，传统的编程教育是以逐行输入或图形化节点式编程为主，XR技术能够识别包括学习者的自然语言、直观交互等输入方式，以三维显示技术从2D向3D的转型，亦将完全改变的互动、协作与学习方式。XR技术能够实现在创作中嵌入三维对象，因此，创客教育的学习方式今后的进化方向，可能朝着虚拟团队实时创建和编辑3D物体发展，从而打造更加丰富多彩的沉浸式学习体验。
5.设计教育
设计教育要求培养学生具有创新型的设计思维以及良好的设计实践能力，当下设计教育并非设计相关从业人员的专利。随着学科融合以及STEM教育、创客教育的推进，设计思维也被要求作为适应21世纪发展的创新型人才的核心素养之一。XR技术能够实现快速原型设计，学习者只需戴上XR眼镜，通过直观交互的方式，预想方案便会立刻出现在可编辑的混合现实空间中。当下对教学也提倡跨学科协同设计，通过数字孪生的方式，学生能够共同完成同一设计原型的开发，从草图构建到快速的三维生成，甚至结合3D打印机，可以实现快速原型开发，更好地帮助学生进行设计实践。
6.特殊教育
沉浸式技术在特殊教育领域的运用，主要包括针对运动障碍、自闭症谱系障碍和智力障碍等特殊人群的感知觉与运动训练、生活自理与职业训练、认知训练及社交训练。但针对因感官缺陷而导致交流障碍的特殊群体的研究较少，因为当下独立发展的AR、VR及MR技术的主要优势，在于创造模拟、训练等恢复情境，但在以声音、文字为基础的社会交流维度上，并不能给予太多帮助。XR技术充分考虑到特殊人群感知通道的不足，为特殊人群营造不同的学习资源和学习情境，弥补其感知能力的不足，辅助其认知和提供真实体验的机会。其多感官交互特征，能够以五感互通的形式，增强或者削弱特定感官通道的信号接受，使得更隐性化的数字通信模式成为可能。对于交流障碍人群来说，触觉甚至味觉等将可以用于传递语言和情感，信息将通过其他信道将不同寻常的感觉输入大脑，以达到“感官代替”的目的。
例如，未来可在交流障碍人群的XR设备中增加可穿戴式触感服装的组件，开展人工智能系统的辅助训练。当捕捉到他人的声音信号时，组件能够以不同区域、不同强度的振动信号传递到身体，从而能够为其构建类似摩尔斯电码的新型语汇。当然，对于已有领域的沉浸式技术应用，XR技术不仅能够搭建虚拟与现实无缝衔接的桥梁，也能够通过物联网、人工智能等技术，为特殊人群构建共享的虚拟空间，其感官代入、互通的特性能够保证有生理缺陷的人群，在未来也能够体验到正常人对世界的感性体验。
五、教育与新技术融合的走向
新技术的迭代，不断增强人类对外部世界的感知，也给人类带来了层次多样的体验。未来是一个充满挑战、全球化和创新多变的时代，教育需要培养能够面向未来的创新型人才。当下传统教育的弊端已经被重新认识，众多的研究者和教育者都在尝试着利用新技术来变革教育，这是时代发展所造就的。综观技术与教育融合的历史，从幻灯、投影，录音技术到电影、电视，再到计算机，网络和当下的VR、AR、MR以及本文所探讨的扩展现实（XR）技术，可以发现未来教育与新技术融合的走向，将呈现以下六个特征：
（一）体验为王
新技术的出现，不可避免的会使教育界关注其作为媒介的独特性，技术影响教育活动的演绎方式。值得注意的是，学习者在面对新技术的出现往往会有很强烈的初体验，但当“习惯这种幻觉”后，新的技术不再有“令人迷恋的力量”[43]，同时对于教育的支持程度也会大打折扣。因此，教育与新技术的融合，应当超越对于技术本身的“迷恋”，技术应当充当一种为了满足教育目标实现的媒介，教育工作者应关注新技术形成的新教育媒介上的内容设计，将学习者置于有意义的环境中，即营造“情境化”的体验。对于新技术教育应用特性的关注是不可避免的，媒介理论家Steven Holtzman认为，重新利用媒介的方法不是利用其特殊性质，而是建立在其特殊的基础上，发展一种全新的表达方式。XR技术对于教育而言，不仅强调为教育的开展提供相关设备、应用平台及技术环境的研发，更强调如何将其与现有的教与学过程、学习者学习特征等良好对接，为教育者、学习者提供优质的用户体验。
（二）智能为基
人工智能作为一种在线应用型技术，在实际应用过程中往往需要结合其他技术，共同为教育增能、赋能及使能，人工智能化的教育新技术能够大规模代替学习者程式化的脑力劳动，从而引导培育学习者的高阶思维能力。当下为“人工智能+教育”的时代，人工智能的发展主要集中在感知智能阶段，未来的人工智能的突破口，将落在特定领域认知智能的实现以及应用的普及上[44]。人工智能的加持为新教育技术打上了“智慧”的标签，能够使其更加了解学习者，并据此提供个性化的体验，以提高学习效率。传统的非智能化技术只是工具，但“智慧”教育技术能够将技术本身上升到教育伙伴的关系维度上。技术能够关注学习者并预测其需求，从而能够更好地服务于教育活动。Gartner认为，以人工智能为基础的智能技术的发展，推动了“认知计算”时代的到来，技术将经历四个典型的发展阶段，包括：与我同步、看我行动、与我相知、成我化身四个阶段，这体现了智能技术将从“人工化”向“人文化”的转变历程。因此，未来的教育新技术将会建立在人工智能的基础之上，与学习者共同学习、成长。
（三）边缘计算
正如扩展现实技术应用一样，要给学习者带来沉浸的学习体验，无缝的穿梭于虚拟与现实之间，高效的网络运算是必不可少的。随着物联网和云服务的推动，在网络边缘产生的数据正在海量增加。如果我们能够在网络的边缘结点去处理、分析数据，那么这种计算模型会更高效。借助于边缘计算，我们可以更好地处理新技术在教育应用过程中产生的海量数据，将减少数据在网络中传输的时间，简化网络结构。对于数据的分析、诊断和决策，都可以交由边缘结点来进行处理，从而实现低延迟，提高用户体验。可以预见的是，未来教育与新技术的融合会朝着边缘计算的方向发展，技术也会呈现平静技术的特征，学习者会在技术的隐性支持下获得无缝式学习体验。
（四）跨空间的无缝融合
在数字技术出现之前，人类生活的现实空间与想象空间是分离的。计算机的出现，使得现实与想象空间仅有一“屏”之隔，思维得以可视化。显然，XR技术即能够打破现实与想象空间之间的距离，实现思维如现实般“可感化”。教育活动主要伴随着思维的产生、实践活动的开展及反思活动等的循环认识过程。XR技术提供的虚实融合空间，打破了思维间断性的僵局，激发了人类对现实可能性的关注，从而解放了人类的感性实践活动。教育新技术应当继续探索打破思维、实践异时空的活动难题，实现跨空间的无缝融合，为学习者提供“思维创造”的新模式。
（五）多模态交互
在可预见的未来，身体或许是人类所拥有的最自然的“界面”，Jakob Nielsen 在其论文中写到[45]，“当你在触摸自己的身体时，你完全能感受到自己触摸的对象，并获得比任何外部设备都要好的反馈。而且，你永远都不会忘记带上你的身体。”概言之，XR技术试图构建建立在人类五感基础之上的多模态直观交互模式，未来的教育技术所提供给学习者的输入、反馈，应当是建立在身体自然交互基础之上的多模态反馈，甚至可以将技术嵌入体内或将技术纳入身体的一部分，从而能够真正的扩展人类的感知能力，获得“新的感官”。在设计技术的同时，技术也在重新塑造着人类，因此，多模态的交互技术，也应当作为教育与技术融合的发展趋势之一。
（六）支持全纳教育
全纳教育作为一种教育思潮，它容纳所有学生，反对歧视排斥，促进积极参与，注重集体合作，满足不同需求，是一种没有排斥、没有歧视、没有分类的教育[46]。全纳教育背后是深刻的教育公平理念，它既是对社会现实的一种反映，也是对社会现实的一种超越，包括技术对特殊人群、对教育资源匮乏地区人群的包容与支持。如同扩展现实技术一样，它应能为各类感知技能残缺人群提供交互新形式，弥补感官功能缺失带来对外界体验以及学习的障碍。教育的新技术的发展，应更注重体现人性化及人文关怀之意味。
六、结论
历史上，从车轮到互联网，技术的发展不断缩短着距离。我们正在走向物理世界和虚拟世界之间界限模糊的时代。在扩展现实的新兴技术的推动下，我们不再受过去物理环境的限制。随着各种沉浸式体验的普及，扩展现实技术的真正意义在于，它让任何距离都不再是距离。正如学者翟振明认为的，“扩展现实（XR）不仅是交往与体验的世界，更是操控自然因果过程的实践空间[47]”。虚拟与现实世界的无缝融合，使我们的世界变成形而上的世界、不可见不可触的世界、一个原理的世界。
扩展现实更强调对于虚拟世界与现实世界的弥合，让人们、信息和体验之间的距离消失。借助于扩展现实技术，人们可以自由的游走于现实与虚拟之间，扩展现实（XR）所创造的人——新感性的数字化时空，促成了虚拟实践与现实实践之间并存、交织、互动发展，从而扩展了人类现实的生存空间；使人类实践活动实现了对现实社会空间延伸和超越，为人们提供了重新进行自我塑造和多样性发展的空间和机会。黑格尔说，人的本质就是自由。学习自由，正体现为一种人的自由意志。为实现其自由个性的本质，人类在心智发展过程中对广阔知识所能选择的限度，将在新技术的支持下得到无限的扩张，自由自觉是人类的最深层本质与永恒的价值[48]。
当下教育的重心由传授单纯技术，转向培养学生高度的问题解决能力和创造力，这是教育本真的回归。发挥人的潜能，扩展人的灵性，促进人的精神成长，成为了教育的最大任务和特殊使命。扩展现实的出现及在教育领域的广泛应用,打造了丰富而有吸引力的学习体验，为学习者提供了新的数据分析及展示提取方式。同时，还大大扩展了学习者的信息获取渠道，从不同角度和感知通道感知所感知的现实世界（虚拟和现实无缝融合的泛现实世界），为学习者提供个性化的现实和学习支持，服务于学习者的个性化学习需求，减轻了学习者的学习认知负荷。其具有的智慧感知、自然交互属性，将更好地体现“身心一体、知行合一”的教育思想，服务和支持未来教育，服务于面向未来的创新人才培养。
[参考文献]
[1][美]麦克卢汉.理解媒介：论人的延伸[M]，上海：商务印书馆，2000.
[2]国家中长期教育改革和发展规划纲要（2010-2020年）[EB/OL].[2018-10-10].http://old.moe.gov.cn/publicfiles/business/htmlfiles/moe/info_list/201407/xxgk_171904.html.
[3]Ronald T Azuma.A Survey of Augmented Reality[EB/OL].[2018-12-01].http：//www.cs.unc.edu/～azuma/A Rpresence.pdf.
[4]党保生.虚拟现实及其发展趋势[J].中国现代教育装备，2007（4）：94-96.
[5]Milgram P，Kishino F.Taxonomy of Mixed Reality Visual Display[J].Ieice Trans.inf.&Sys.d.1994， 77（12）：1321-1329.
[6]Mana F，Jeannette P.Explore Augmented Reality（AR）， Virtual Reality（VR），and Mixed Reality（MR） for Business[J].Business Horizons， 2018（61）：657-663.
[7]张世英.现实·真实·虚拟[J].江海学刊，2003（1）：12-20.
[8][9]陈志良.虚拟:人类中介系统的革命[J].中国人民大学学报，2000（4）：57-63.
[10]齐鹏.数字化时代:人类感性方式的第三次革命[J].河北学刊，2003（5）：45-48.
[11]孙广耀.自由何以可能?马尔库塞新感性观述评[J].佳木斯大学社会科学学报，2012（4）：1-3.
[12]马尔库塞.单向度的人[M].上海：上海译文出版社，2006.
[13]Mann S，Furness T，Yuan Y，Iorio J，Wang Z.All Reality：Virtual Augmented Mixed（x） Mediated（xy） and Multimediated Reality[J].ArXiv Preprint，2018.
[14]Wyckoff C W.All Reality: Virtual Augmented Mixed（x） Mediated（x y） and Multimediated Reality[J].SPIE Newsletter，1962：16-20.
[15]Mann S.Intelligent Image Processing[M].John Wiley and Sons，2001：384.
[16]Beth C.Using Sensor in Puts to Affect Virtual and Real Environments[J].IEEE Pervasive Computing，2009，8（3）.
[17][22][23]Qualcomm.The Mobile Future of Extended Reality[R].United States： Qualcomm Technologies Inc，2017：4.
[20]Jennifer W.Independence Day[EB/OL].[2018-12-01].http://news.microsoft.com/stories/independence-day.
[21]Elecfans.郭鹏：我们坚信移动XR是下一代计算平台[EB/OL].[2018-12-01].http://www.elecfans.com/vr/719679.html.
[24][32]史蒂夫·奥库斯坦奈斯.增强现实技术、应用和人体因素[M].北京：机械工业出版社，2017.
[25]Janet C.Introduction to Audio Walks[EB/OL].[2018-12-01].http://www.cardiffmiller.com/artworks/walks.htm.
[26]Detour.Detour_Index[EB/OL].[2018-12-01].http：//www.detour.com.htm.
[27]Hypersound.Hypersound_Index[EB/OL].[2018-12-01].http：//hypersound.com/home.php.
[28][31]Helen Papagiannis.增强人类：技术如何塑造新的现实[M].北京：机械工业出版社，2018：60.
[29]NARKII.可回馈触觉的平板电脑：摸图即知手感[EB/OL].[2018-12-01].http://www.narkii.com/news/news_129381.shtml.
[30]Giovanni M T，Esben W P，et al.User-defined Gestures for Elastic，Deformable Displays[C]//Proceedings of the 2014 International Working Conference on Advanced Visual Interfaces.ACM，New York，NY，USA，2014：1-8.
[33]FEELREAL.Feelreal Mask[EB/OL].[2018-12-01].http：//feelreal.com.
[34]TED.Can We Create New Senses for Humans[EB/OL].[2018-12-01].http：//bit.ly/2hrqVXk.
[35]Matthew L，Theresa D.At the Heart of It All： The Concept of Presence[J].Journal of Computer Mediated Communication，1997（2）：3.
[36]Jay D B，Richard G.Remediation：Understanding New Media[M].Cambridge： The MIT Press，1999：7.
[37]Dan N.Magic and Illusion in Early Cinema[J].Studies in French Cinema，2001（2）：70.
[38]李海峰，王炜.基于具身认知理论的教育游戏设计研究[J].中国电化教育， 2015（5）：50-57.
[39]刘径言.情境认知学习理论视角下《品德与生活》主题单元设计研究[D].长春：东北师范大学.2008：4.
[40]甘永承.虚拟学习社区中的知识建构和集体智慧研究[D].上海：华东师范大学.2004：62.
[41]张美霞，季宏高.创客教育空间的生态建构[J].中国成人教育，2016（16）：135-138.
[42]王佑镁，钱凯丽等.触摸真实的学习：迈向一种新的创客教育文化——国内外创客教育研究述评[J].电化教育研究，2017（2）：34-42.
[43]Oliver Grau.Visual Art：From Illusion to Immersion[M].Cambridge：The MIT Press，2003：152.
[44]陈卫东，褚乐阳等.4D打印技术及其教育应用展望——兼论与“人工智能+教育”的融合[J].远程教育杂志， 2018（1）：27-38.
[45]Jakob N.Human Body as Touchscreen Replacement（n.d.）[EB/OL].[2018-10-10].Retrieved from https://www.nngroup.com/articles/human-body-touch-input/.
[46]360百科.全纳教育 [EB/OL].[2018-10-10].https：//baike.so.com/doc/5537851-5755441.html.
[47]虚拟现实“预言帝”翟振明教授：当VR扩展为ER，黑客帝国将成现实[EB/OL].[2018-10-10].http://blog.sina.com.cn/s/blog_910421960102 wsux.html.
[48]从学习自由到创造自由[EB/OL].[2018-10-10].http://www.nenu.edu.cn/79/75/c139a31093/page.htm.
Rebuliding the Experience:Extended Reality（XR） Technology and Its Education Application Outlook：Also Discuss the Trend of“Education and New Technology Integration”
Chu Leyang，Chen Weidong，Tan Yue&Zheng Sisi
（Institution of New Media Interaction Design and Application，Suzhou University of Science and Technology，Suzhou Jiangsu 215009）
【Abstract】The continuous development of computer graphics and simulation technology brought out the prosperity of immersive technology，space and time for human activity have been changed from nature to digital.Mankind is facing with the transformation of sensorial and practical pattern， so do our society.Virtual reality（VR）， augmented reality（AR）， mixed reality（MR）and other technologies bring new experience modes to users through the integration of digital information and real environment to varying degrees.Compared with current VR，AR and MR，XR lays more emphasis on bridging the virtual world with the real world，making the distance between people， information and experience disappear.XR technology with contextual awareness， sensory substitution， natural interactive features&editing reality， such as the application in the field of education with human nature，intelligence， interactivity， ecological characteristics and generative education application， can provide learners with intelligent education product design， is more advantageous to gamification learning， supporting the intelligent learning environment， can be more conducive to the maker education， the implementation of the design education， special education， etc.The integration of education and new technologies is mainly reflected in the trend of experience as king， intelligence-based， edge computing， seamless integration across space，multimodal interaction and support for inclusive education.XR technology is an important form of comprehensive application of computer graphics and simulation technology，artificial intelligence and Internet of things in the field of education.Its intelligent perception and natural interaction properties will better serve and support future education and serve the cultivation of future innovative talents.
【Keywords】Extended Reality（XR）； Education Application；Integration； Technology Empowerment； Digital Twin； BCI；Edge Computing
作者简介：褚乐阳，苏州科技大学传媒艺术学院在读硕士研究生，研究方向：数字娱乐设计，新媒体交互设计与应用；陈卫东,本文通讯作者，博士,苏州科技大学传媒艺术学院教授，新媒体交互设计与应用研究所所长、博士后，研究方向：新媒体交互设计与应用，未来课堂，数字娱乐设计；谭悦，苏州科技大学传媒艺术学院在读硕士研究生，研究方向：数字娱乐设计，新媒体交互设计与应用；郑思思，苏州科技大学传媒艺术学院在读硕士研究生，研究方向：数字娱乐设计，新媒体交互设计与应用。
基金项目：本文系2018年江苏省教育科学规划“十三五”2018重点课题“智慧教室支持下的混合式教学模式创新与实践研究”（项目号：B-b/2018/01/60）；2018年度江苏省教育信息化研究重点课题“基于智慧教室环境的个性化教学研究”（项目号：2018007）；2017年江苏省高等教育教学改革研究课题“基于‘移动学习平台+智慧教室’的混合式教学模式创新与推广应用研究”（项目号：2017JSJG545）的研究成果。
转载自：《远程教育杂志》2019年第1期 总第250期
排版、插图来自公众号：MOOC（微信号：openonline）
新维空间站相关业务联系：
刘老师 13901311878
孙老师 17316022016
邓老师 17801126118
微信公众号又双叒叕改版啦
快把“MOOC”设为星标
不错过每日好文☟
喜欢我们就多一次点赞多一次分享吧~
有缘的人终会相聚，慕客君想了想，要是不分享出来，怕我们会擦肩而过~
相关内容
微信扫码咨询专知VIP会员