基于沉浸式虚拟现实系统的学习评价指标体系设计
| 全文共9938字，建议阅读时9分钟 |
本文由《电化教育研究》杂志授权发布
作者：何聚厚、梁瑞娜、肖鑫、梁玉帅、 韩广欣
编者按
沉浸式虚拟现实系统，以其沉浸性、虚拟性以及构想性，为学生提供了丰富的学习场景，能够有效促进学习。目前，针对虚拟现实技术支撑学习方向的研究，多集中于基于案例的教学设计方面，缺乏系统性与专业性的学习评价指标体系。本文以学习目标解析为导向，采用文献分析法、问卷调查法及层次分析法，构建出以学习动机、注意力、学习适应等为三级指标的评价指标体系，并确定各指标要素的权重，根据拟定的评价指标体系，应用在虚拟现实技术支撑的人体骨骼学习系统中，研究表明，该评价指标体系能够有效评价学生在人体骨骼学习系统中的学习效果。
关键词：沉浸式虚拟现实系统；学习评价；指标体系；深度学习
一、问题的提出
虚拟现实技术具有仿真虚拟世界的构造、强烈的多感官交互的特点，可以创建一种真实世界的替代空间[1]，能够为学生创造出身临其境的学习环境，成为教育发力的一个主要引擎。虚拟现实技术所营造的沉浸式学习方式，表现出3E特性：（1）增强性（Engagement），鼓励学生良好表现，增强学生自我效能感；（2）再现性（Evocation），唤起学生在真实环境中的真实表现；（3）证据性（Evidence），提供丰富证据线索，引导学生进行自我探索[2]。沉浸式虚拟现实学习系统在教学中的应用，主要表现为三种优势：（1）思维层次的深度化，引导学生进行深层次的学习[3-4]；（2）构建场景的丰富性，为教学提供了虚拟现实、超现实的学习场景[4-5]；（3）感官刺激的多样化，为学生提供了多种感官的体验[6]。
目前，虚拟现实技术正逐步影响教育领域，市场中出现了很多以虚拟现实学习系统内容开发与环境搭设为产品的企业，然而，针对这些产品支持的学习有效性，尚缺乏完善的评价指标体系，因此，尚流于浅层的应用阶段[7-8]。笔者以基于沉浸式虚拟现实系统的学习目标解析为导向，构建出有效学习评价指标体系，以期为“如何评价学生在虚拟现实系统中的学习效果”问题的解答提供思路。
二、基于沉浸式虚拟现实系统的学习评价指标要素的确定
（一）学习评价指标要素确定方法
1. 学习目标分析法
学习评价是建立在学习目标的基础之上的，需要借助观察、调查、实证等多种研究方法，对学生的过程性学习进行价值判断[9]。虚拟现实系统的学习目标是深度学习，是指学生可以结合自身的学习需求，在知识理解的基础上实现批判性学习，可以采用多种学习策略达到对学习信息的深度加工，从而实现新旧知识之间的联系，并获得知识的有效迁移。
2. 问卷调查法
本文以研究虚拟现实技术在教育领域应用的研究生、专家为研究对象，发放30份问卷，回收问卷28份，回收率93.3%。选择一些持不同意见的对象进行访谈。结合调查结果与访谈结论，对通过学习目标分析法结构出来的学习评价指标要素进行优化。
（二）学习评价指标要素分析
在对学习目标进行解析的基础之上，结合沉浸式虚拟现实学习的特征，可以按照三维教学目标，将一级评价指标确定为情感层面、过程层面与知识层面。
1. 情感层面（x1）
情感、态度与价值观是影响学生学习效果的一个重要因素，是学生实现高效率学习的内部动机。
（1）学习态度（y1）。良好的学习态度是成功的一半。中小学生的学习认知特点主要表现为好奇心重、个性化强，学生对新型学习技术的接受能力比较高。①学习兴趣（z1）：学生对虚拟现实的兴趣是学生是否能够具有良好的学习投入的重要指标；②学习动机（z2）：Roussos认为，学习动机是虚拟现实环境的过程性评价的重要指标[10]。学生在虚拟现实情境学习中，所处的沉浸式学习环境对学生的自主学习能力要求比较高，学生的学习动机会在很大程度上影响学生的学习深入程度。
（2）学习意志（y2）。在初期的情感投入后，学生在虚拟现实情境中的学习意志，将会是学习是否可以持续下去的重要影响因素。范晓玲在《中小学生学习行为测评研究——学习行为评估与研究量表》中，将学生的情感指标细分为求知欲、注意力与主动性等方面[11]。①坚持性（z3）：在学习过程中，遇到困境，只有坚持探索才能获得深度学习体验；②自制力（z4）：虚拟现实技术作为一个支持学习的手段，所营造的虚拟现实情境与游戏化学习环境对中小学生而言具有很强的吸引力，而如何控制自己的心态，避免迷失在情境中，需要学生具备一定的自制力；③注意力（z5）：注意力是评价学生在学习过程中学习投入度的一个重要指标。
（3）学习价值观（y3）。学习价值观是学生对自己正在进行的学习活动的看法，直接影响学生的学习方式与绩效[12]。①满意度（z6）：学生在体验后的满意度，是判断学生是否乐意继续使用该种学习方式的重要指标；②认同感（z7）：学生对虚拟现实系统的认同与否，是评价学生学习情感的一个重要显性指标。
2. 过程层面（x2）
对学生学习过程的评价，需要落脚于学生在学习过程中的显性行为与学习表现。
（1）学习准备（y4）。①学习计划（z8） ：学生根据学习目标，制定合理的学习计划,是学生合理安排学习行为的重要前提；②自我效能感（z9）：学生对自身能否利用所拥有的技能去完成学习任务的自信程度，是学生建立学习信心的良好开端。有学者发现，网络自我效能感在中低水平内和深度学习呈现显著线性相关；网络自我效能感在中高水平内，深度学习增幅呈现下降趋势，两者呈现线性相关[13]。
（2）体验与交互（y5）。陶侃将虚拟环境中基于问题情境的认知活动与交互分为五个层面：信息交流层次、问题把握层次、问题解决层次、学习与创新层次、意义建构与再创新层次[14]。①学习适应（z10）：学生首先需要尝试获取情境探索能力，该阶段中学生获得视觉、听觉、触觉等感官体验，与场景进行适应性交互；②信息交流（z11）：在交互式现实系统中，同伴交流是一个重要的学习过程，Hwang强调了虚拟现实环境中同伴学习行为对学习效果的影响[15]；③明晰问题（z12）：虚拟现实情境中，学生对学习问题的把握、明晰是解决问题的前提；④解决问题（z13）：问题解决能力是衡量学生学习效果的核心指标，Scherer R对虚拟现实化学环境中学生的问题解决能力进行详细探究，指出元认知策略的积极作用[16]。
（3）反思（y6）。反思性学习能促进深度学习的实现。①学习调整（z14）：反思的本质是学生自我改善、自我调整的形成性过程；②知识深加工（z15）：反思也是学生对问题进行深度挖掘，实现知识深加工的过程。
3. 知识层面（x3）
根据虚拟现实系统支持的学习行为，学生在知识层面的行为可以归纳为知识获取、知识保持与学习迁移。
（1）知识获取（y7）。①知识习得（z16）：在虚拟现实系统支持的学习过程中，学生所获取的习得性知识，是学生知识建构过程中的主要产物；②技能习得（z17）：目前，虚拟现实系统在学习中的应用优势，主要体现在其在技能传授上的高效性，学生通过身临其境的“自身体验”，更容易习得技能。Loukas对虚拟现实系统在物理学科技能习得方面的作用进行了实证研究，发现具有显著的效果[17]。
（2）知识保持（y8）。Kartiko I认为，学生在虚拟现实系统的学习效果评价可以从知识保持与学习迁移入手[18]。①学习成绩（z18）：由于知识体系的构建是一个隐性的特征，教育界通常采用试卷测量法，将学生的知识体系进行量化测试；②知识遗忘率（z19）：学生接受新知识之后，随着时间的推移，知识记忆会下降。知识遗忘率与获取知识的途径具有一定的联系，根据经验之塔理论，通过做获得的知识要明显优于通过看获得的知识。
（3）学习迁移（y9）。学生是否发生学习迁移是评价学生知识层面的一个重要因素，学习迁移程度是评价学生知识内化程度的一个重要指标。①同化性迁移（z20）：在不改变原有认知经验结构的基础上，将原有认知经验直接应用到同类事物中；②顺应性迁移（z21）：当原有认知经验无法解释新的事物时，学习者主动调整旧经验，形成一种可以包容新旧经验的高级经验结构；③重组性迁移（z22）：将原有认知经验系统中的要素或者成分进行重组，构建新联系、新关系，从而解决新情境中的问题。
三、基于沉浸式虚拟现实系统的评价指标权重的计算
选择虚拟现实教育研究方向的专家作为调查对象，发放指标权重问卷，采用专家咨询法和AHP 法来梳理各项指标和权重。层次分析法是将指标按照重要程度划分为不同层级，对各层级指标的重要程度进行对比性判断，按照重要程度确定代表相对权重的判断矩阵。
本研究中采用Saaty的相对重要性比例标度（aij：要素ai与要素aj重要程度对比）来描述各层级指标之间的相互关系：（1）标度值aij=1：ai与aj重要程度相当；（2）标度值aij=3：ai比aj略微重要；（3）标度值aij=5：ai比aj重要；（4）标度值aij=7：ai比aj非常重要；（5）标度值aij=9：ai比aj极端重要；（6）标度值aij为2~8间的偶数值：相邻程度的中间值。
（一）建立层级结构模型
建立基于沉浸式虚拟现实系统的学习评价指标体系的层次结构模型，决策目标层为学习评价，中间层分别为一级指标与二级指标，包括“情感层面”“知识层面”与“过程层面”三个一级指标，“体验与交互”“反思”等七个二级指标。方案层为“学习兴趣”“学习成绩”等三级指标，如图1所示。
图1 层次结构模型图
（二）建立判断矩阵
本次研究选择虚拟现实教育应用相关方向的专家展开问卷调查，对层次分析法中的各个元素重要性进行打分。根据Saaty1—9标度原则，得到判断矩阵 （Aij） n ×n，见表1。Aij数值确定的过程中，采用多次轮询方法，咨询虚拟现实教育应用方向的七位专家，确定两个因素之间的重要性标度值。
表1 专家判断矩阵
（三）信度分析
1. 判断矩阵的一致性比例
定义判断矩阵A 的一致性比例为，CR（A）=λmax（A）-n（n-1）RI，RI为随机一致性指标[19]。若CR（A）≤0.1，则说明A属于一致性矩阵；否则，A不具有一致性。其中，λmax（A）为 A 的主特征值。检查判断矩阵的一致性，均通过一致性检验。
2. 同质性信度
同质性信度是指测验内部所有项目的一致性，一般采用克伦巴赫α系数表示：
其中，K为测验的题目数，S2i为某一题目分数的变异数，S2x为测验总分的变异数。使用SPSS19.0作为统计分析工具，计算可得α=0.698。说明专家问卷量表测验具有可接受的信度。
（四）专家评价水平相对权重的确定
假设评价权重的专家共有m位，每位专家对指标权重所打的标度值a之间存在区别。对于每两项指标的对比中，客观上应该存在一个最优标度值aij*。采用几何平均法计算出第k个专家的最优标度值aij*，采用如下公式：
通过判断标度值与最优值之间的最小方差，确定专家的评价水平相对权重，则第k个专家造成的标度误差所占比例为Ck，即为：
因此，该专家的相对权重可以用下式计算：
通过计算可知：七位专家的标度误差比例与相对权重分别为（0.219，0.198），（0.658，0.067），（0.347，0.125），（0.293，0.148），（0.216，0.202），（0.441，0.098），（0.269，0.162）。
（五）确定评价指标体系
综合不同专家的权重，采用几何平均加权法，计算出各个指标的最终权重值，见表2。
表2 学习评价指标体系
（六）学习评价效果的加权计算
对于z1~z22指标，设其权重值为wi，评价分值为gi。则学生学习的最终得分为：
四、基于沉浸式虚拟现实系统的评价指标体系应用案例
对基于沉浸式虚拟现实系统的学习进行评价，需要应用到在线测评工具，对学生的学习行为进行记录，对收集到的数据进行处理。本研究团队采用VR技术构建人体骨骼体验学习场景，可以体验、操作一些抽象的概念及现实环境中无法实现的学习场景，实现自适应学习。利用azure平台，基于大数据对学生学习过程和行为进行动态跟踪分析，实现对学生学习的自动评价反馈和指导。
（一）人体骨骼虚拟现实系统
人体骨骼虚拟现实系统是本研究团队采用虚拟现实技术与azure平台构造的自适应学习系统。该系统主要分为三个部分：骨骼学习、骨骼观察与骨骼拼接，如图2所示。骨骼学习阶段，学生可以对各部位骨骼进行放大旋转，学习相关知识。在骨骼观察阶段，学生可以通过位置的移动，实现对人体骨骼组成结构的全方位观察，获得更直观的视觉体验，实现对人体骨骼细节处的深度学习。在骨骼拼接过程中，学生可以使用手柄拾取骨骼，将骨骼移动到对应的虚拟影像位置。在这个过程中，会直接调用相关数据库知识，为学生提供相应的知识与反馈信息。另外，在拼骨完成后，可以进入到知识问答环节，对学生的知识积累进行评价。整个过程中，学生在虚拟现实系统中的学习行为会被实时记录，结合大数据分析，提供实时的信息反馈与总结性评价。
图2 人体骨骼学习系统
（二）制作评价工具
1. 三个维度的评价量表
根据提出的虚拟现实系统学习评价指标，设计出学习评价量表。将学习评价分为三个部分，分别是自我评价、教师评价与系统在线评价。每一种评价方式均使用1~5五个标度打分，代表完全不符合、基本不符合、基本符合、符合、完全符合（或非常不满意、基本不满意、基本满意、满意、非常满意）。打对勾表示可以选择该评价方式，见表3。
表3 学习评价量表
续表3
2. 在线学习评价量表
在线学习评价需要对学生的特定学习数据进行记录、分析。笔者对该系统的在线学习评价内容进行了细化，说明需要记录的行为数据以及数据结果的分析，见表4。
表4 在线学习分析与实时反馈
（三）学习效果得分计算
结合指标体系，学生的学习效果得分为 ：
对于每一个学生而言，其得分由自我测评、教师评价与在线测评三部分成绩组成，得分G总=（自我测评G1+教师评价G2+在线测评G3）/3。将学生的最终得分划分不同的等级，1~2分：不及格；2~3分：及格；3~4分：良好；4~5分：优秀。例如，某学生的最终分为3.43，说明该学生在人体骨骼学习中的学习效果为良好，教师应该结合在线评价系统所提供的反馈信息，为该学生提供促进学习的建议。
五、总结与建议
研究者所在技术团队使用该指标体系，评价学生在人体骨骼虚拟现实系统中的学习行为，能够清晰反映出学生的学习兴趣、知识薄弱点、学习偏好，有助于引导学生进行自主学习。本指标体系在其他项目中也具有一定的指导意义，可以应用到基础领域的虚拟现实学习系统评价中。在实际的应用过程中，应该结合具体情况，选择性地对各项指标的评价标准与权重进行调整，从而实现有效的学习分析。
【参考文献】
[1] 赵一鸣，郝建江，王海燕，乔星峰.虚拟现实技术教育应用研究演进的可视化分析[J].电化教育研究，2016，37(12)：26-33.
[2] CHRIS D.Achieving deeper learning：the role of technology[R].北京师范大学智慧学习研究院，2016.
[3] 付树华.“虚拟现实技术”进课堂：学习方式“进化”新路径[J].中小学管理，2016(7)：16-17.
[4] 羌红.桌面三维虚拟学习环境的设计与实现[D].金华：浙江师范大学，2010.
[5] 曹建磊. 第二人生(Second life)在小学英语课程中的应用研究[D].新乡：河南师范大学，2014.
[6] SALLNAS E L.Haptic feedback increases perceived social presence[J].EuroHaptics'10 proceedings of the 2010 international conference on haptics - generating and perceiving tangible sensations：Part II，2010(6)：178-185.
[7] 丁楠，汪亚珉.虚拟现实在教育中的应用：优势与挑战[J].现代教育技术，2017(2)：19-25.
[8] 徐硕，樊雅琴，周东岱.虚拟现实在教育领域中应用的知识图谱绘制——基于CNKI的共词可视化分析[J].教育现代化，2017(7)：22-27.
[9] 张浩，吴秀娟.深度学习的内涵及认知理论基础探析[J].中国电化教育，2012(10)：7-11+21.
[10] ROUSSOS M.Issues in the design and evaluation of a virtual reality learning environment[D].Chicago：University of illinois at Chicago，1997：5.
[11] 范晓玲.中小学生学习行为测评研究——学习行为评估与研究量表[M].广东：世界图书出版社，2016：12-13.
[12] 罗书伟.中学生学习价值观结构及其特点的研究[D].重庆：西南大学，2007.
[13] 张琪.e-Learning环境中大学生自我效能感与深度学习的相关性研究[J].电化教育研究，2015，36(4)：55-61.
[14] 陶侃.虚拟环境中基于问题情境的认知活动与学习交互[J].开放教育研究，2012(4)：36-43.
[15] HWANG W Y，HU S S.Analysis of peer learning behaviors using multiple representations in virtual reality and their impacts on geometry problem solving[M].Holland：Elsevier science ltd.2013.
[16] SCHERER R，TIEMANN R，DIGER.Factors of problem-solving competency in a virtual chemistry environment：the role of metacognitive knowledge about strategies[M].Holland：Elsevier science ltd.2012.
[17] LOUKAS C，NIKITEAS N，SCHIZAS D，et.A head-to-head comparison between virtual reality and physical reality simulation training for basic skills acquisition.[J].Surgical endoscopy，2012，26(9)：7-8.
[18] KARTIKO I，KAVAKLI M，CHENG K.Learning science in a virtual reality application：the impacts of animated-virtual actors'visual complexity[J].Computers & education，2010，55(2)：881-891.
[19] 朱建军，王梦光，刘士新.AHP判断矩阵一致性改进的若干问题研究[J].系统工程理论与实践，2007(1)：18-22.
Design of Learning Evaluation Index System Based onImmersive Virtual Reality System
HE Juhou, LIANG Ruina, XIAO Xin, LIANG Yushuai, HAN Guangxin
(Key Laboratory of Modern Teaching Technology, Ministry of Education, Shaanxi Normal University, Xi'an Shaanxi 710062)
[Abstract] Immersive virtual reality system provides students with rich learning scenes by its immersion, virtuality and imagination, which can effectively promote students' learning. At present, researches on learning supported by virtual reality system mainly focus on case-based instructional design, and lacks systematic and professional evaluation index system. Guided by the analysis of learning goals, this paper adopts literature analysis, questionnaire survey and analytic hierarchy process to construct a three-level evaluation index system based on learning motivation, attention and learning adaptation, and the weight of each index element is determined. Then the evaluation index system is applied to Human Skeleton Learning System supported by virtual reality technology. The results indicate that the evaluation index system can be used to evaluate students' learning in Human Skeleton Learning System effectively.
[Keywords] Immersive Virtual Reality System; Learning Evaluation; Index System; Deep Learning
作者简介：何聚厚(1972—)，男，甘肃秦安人。陕西师范大学现代教学技术教育部重点实验室，副教授，博士，主要从事信息化教学模式创新、技术增强学习、大数据环境下智能信息处理等方面的研究。
基金项目：2016教育部—中国移动科研基金项目“翻转课堂对教学目标、课程设计、教学模式的重构及实证研究”(项目编号：MCM20150604);陕西省高等学校教学改革重点项目“‘互联网+’助力高校教学发展模式及实践研究”(项目编号：17BZ015)
转载自：本文发表于《电化教育研究》2018年第3期，转载请与电化教育研究杂志社编辑部联系（官方邮箱：dhjyyj@163.com）
排版、插图来自公众号：MOOC（微信号：openonline）
喜欢我们就多一次点赞多一次分享吧~
有缘的人终会相聚，慕客君想了想，要是不分享出来，怕我们会擦肩而过~
相关内容
微信扫码咨询专知VIP会员