在线教育资源PEI交互评价模型构建及实证研究
| 全文共8495字，建议阅读时9分钟 |
本文由《开放教育研究》杂志授权发布
作者：胡萍、赵呈领、梁云真、蒋志辉、黄琰、疏凤芳
摘要
在线教育资源是支持用户网络学习的重要组成部分，教育资源优劣直接影响用户学习质量。资源评价需要结合网络环境、网络交互行为、用户个体因素进行，促进资源与网络学习活动的有机融合。本研究借鉴三元交互理论，构建了在线教育资源PEI交互评价模型。基于对贵州省X市1032位中小学教师的调查数据，本研究运用SPSS22.0和AMOS18.0对模型进行因子和路径分析。研究结果证实，在线教育资源对用户个体、网络交互行为、网络学习环境的支持是影响资源评价的重要因素。实证研究发现：资源对用户个体因素的满足是影响用户评价资源的首要因素；用户个体因素与用户网络交互行为在资源评价中相互影响。研究建议:在线教育资源的设计与建设应注重对用户个体因素的满足，营造适宜的学习情境促进用户网络交互行为；将在线教育资源质量优化作为网络交互行为的一种形式，并设置在线教育资源优化奖励机制，进而满足用户个性化资源需求，更利于优质资源共享。
关键词：交互评价模型；在线教育资源评价；因子分析；路径分析
一、引言
在线教育发展迄今已近20年，但在线教育资源建设现状并不乐观，比如普适应用资源少，优质资源数量不到在线教育资源总量的25%（王志刚，2014；寇海莲等，2014）。如何评价在线教育资源，进而引导在线资源建设，这不仅对在线教育意义重大，对于引导教师如何建设在线资源也有重要的指导作用。
总体来看，目前在线教育资源评价主要针对资源属性或资源使用价值进行评价，且较多基于资源建设、技术、设计等视角。奈特和伯恩（Kmght & Burn，2005）提出从用户、环境、任务三个实体，设计实体交互、资源获取等十六个维度进行量化评价。朱哲民等（Zhu et al.，2009）从网络用户视角构建了社会交互生成性资源评价多维模型。不同类型资源评价体系可采用多种评价方法与策略相结合，形成用户、教师、专家多方参与的持续性动态评价机制（柯清超等，2014）。但是，多维度多方参与的资源质量评价指标体系复杂，不便于对用户开展调查。从用户视角分析资源质量，能体现资源使用过程中用户的主体地位，改进资源建设及应用（万力勇，2013）。资源质量可以从教学技术环境、教学行为效果等五个维度构建评价指标体系（邱均平等，2015）。教学交互行为、技术环境支持、教学设计可作为评价在线教育资源质量的重要维度（寇海莲等，2014）。现有的资源质量评价大多采用传统的资源质量评价方法，如定性评价法、定量评价法和半定量评价法，侧重于对资源的客观属性做评价（万力勇等，2017）。还有学者基于三元交互理论分析网络学习空间中的用户知识共享行为、个体因素以及网络学习空间氛围（赵呈领等，2016），或者基于三元交互理论，提取社区成员和社区环境为关键变量，构建虚拟社区凝聚力和集体效能影响机制模型（宁举连等，2014）。
在线教育资源评价不但要关注资源的自身属性或使用价值，更应注重资源使用过程中对用户、行为、环境的可供性。本文从用户个体因素（Personal factors）、网络学习环境（Environmental factors）、网络交互行为（Interactive behavior）三个维度出发，提出在线教育资源PEI交互评价模型，拟定会话协作、内容交互、交互方式等18个观测指标。研究收集了贵州省X市1032位中小学教师使用在线教育资源的调查数据，运用因子分析参数估计结果修正模型，并运用路径分析验证三个潜变量之间的相互影响，分析在线教育资源交互评价各因素的交互关系。
二、研究方法与过程
（一）模型构建
本研究将在线教育资源评价作为外因潜变量，将用户个体因素、网络学习环境、网络交互行为三个变量作为内生潜变量，构建在线教育资源PEI交互评价概念模型（见图1）。其中，在线教育资源对用户个体因素、网络交互行为、网络学习环境具有可供性，即资源提供的行为可能，这种可能能被人感知；用户因个体差异会影响网络交互行为和网络学习环境，用户偏好等会影响用户交互行为方式，用户个体因素直接影响学习环境；网络交互行为对用户个体和网络学习环境有影响作用，会话协作等网络交互行为方式影响用户资源内容需求、媒体偏好等个体因素，用户界面交互、内容交互等会改变网络学习环境；网络学习环境对用户和网络交互行为有重要影响，在资源使用过程中网络学习环境不断发生变化，软硬件、学习情境等的变化对网络交互行为逐渐产生影响。网络学习环境、网络交互行为、用户个体因素三者相互影响。运用在线教育资源交互评价模型进行资源评价，能为在线教育资源建设提供有价值的建议。
本研究假设如下：
H1：用户资源评价与网络学习环境对资源的支持正相关；
H2：用户资源评价与资源对网络交互行为的支持正相关；
H3：用户资源评价与资源对用户个体因素的满足正相关。
图1在线教育资源PEI交互评价概念模型
研究中潜变量不能直接作为测量变量，需要通过潜变量的外显指标作为观测变量进行测量。本文从网络学习环境、网络交互行为、用户个体因素三维度梳理在线教育资源质量评价的观测变量（见表一）。
资源对个体因素的支持符合用户个性化需求，直接影响用户对资源使用价值的判断。本文设定资源支持用户个体因素的七项指标为：内容需求（P1）、媒体类型（P2）、内容设计（P3）、知识模块（P4）、知识主题（P5）、学习方式（P6）、获取方式（P7）。测量指标采用“很不好”“不好”“一般”“好”“很好”五级。
学习环境资源发挥其可供性是网络学习的必要条件。因此，设定网络学习环境的六个观测指标为：硬件支持（E1）、软件兼容（E2）、获取便捷（E3）、学习情境（E4）、运行流畅（E5）、重复使用（E6）。
资源支持网络交互行为是确保网络学习活动交互行为发生的前提。网络交互行为不仅是用户间的相互交流协作，还包括用户与资源内容的交互，用户的自我交互等。因此，设定资源支持网络交互行为的五项指标为:会话协作（11）、内容交互（12）、自我交互（13）、交互方式（14）、界面交互（15）。
（二）研究方法
本研究主要采用调查研究法（问卷、访谈）、结构方程模型等探索和验证所构建的模型:首先，用调查所得数据的一半做探索性因子分析，然后把探索性分析所得因子用在剩下一半数据中做验证性因子分析（王松涛，2006；吴明隆，2010）。本研究运用软件SPSS22.0进行探索性因子分析，确定因子个数浓缩因子数目；运用AMOS18.0进行验证性因子分析，检验因素之间的相关关系，运用路径分析探讨各潜在变量之间的相互影响；重点进行验证性因子分析和路径分析，并根据分析结果修正模型。
（三）研究过程
本研究随机抽取在线教育资源的教学工具515份，通过云共享供用户在线使用。抽取的资源为教师在线学习或教学中需使用的，这些资源适合13个学科专业知识背景的教师使用，包括语文、数学、英语等。研究过程分三阶段:数据收集、模型验证与分析、模型应用。第一阶段，课题组根据质量评价指标制订调查问卷。调查问卷分两部分:第一部分说明研究目的及用户信息，包括用户性别、年龄、学历、学科、所在区县、试用资源类型等，共9题；第二部分是资源评价观测变量对应的18项指标题项，其中网络学习环境（6项）、网络交互行为（5项）、用户个体因素（7项）。问卷各题项采用李克特（Likert）五级量表肯定倾向提问，按分值满意程度依次升高的规则评分。问卷投入使用前，4位专家提出修改意见，6位硕士研究生试填。第二阶段是分析处理数据，运用SPSS22.0进行探索性因子分析，AMOS18.0进行验证性因子分析和路径分析，根据模型估计结果对模型进行修正。第三阶段将修正后的模型应用于资源评价。
（四）样本来源
在研究以贵州省X市各区县新教师和骨干教师为调查对象，这些教师有较好的信息素养和信息技术应用能力，对资源的使用无技术障碍。调查时间为2016年7月14-23日。调查问卷共发放1200份，回收1117份，回收率93%。研究者剔除26份不完整问卷、12份模糊问卷、47份极端问卷，共回收有效问卷1032份。其中教龄5-10年的骨干教师297人，教龄1-3年的新教师735人；男教师410人，女教师622人；语文教师357人，数学教师327人，英语教师123人，信息技术教师32人，其余学科教师193人。教师使用资源的总次数为2967次，其中，资源使用较多的学科有语文820次，数学735次，英语246次，每位教师均使用了所提供的资源。
三、模型验证
（一）探索性因子分析
探索性因子分析的主要任务是浓缩变量提取因子，目的是从数目众多的变量中提取出代表性因子（薛薇，2014）。笔者将1032份样本数据等分为两部分，其中516份样本数据用于探索性因子分析，另516份样本数据用于验证性因子分析。探索性因子分析运用主成分分析法抽取特征值大于1的因子，并通过最大方差法进行正交旋转，最终提取3个有效因子，形成的问卷项目为18个，结合各项目的含义，将各个潜变量命名为“用户个体因素（P）”“网络学习环境（E）”“网络交互行为（I）”。
研究选取各观测指标项的因子负荷、各潜变量的组合信度和累积贡献率分析信效度。各指标因子负荷在0.833至0.911之间，均大于0.5；各潜变量的组合信度在0.956至0.961之间，均大于0.6；累积贡献率为82.5%，大于60%。各维度a信度系数均大于0.8，KMO值为0.930，说明问卷结构效度良好。
（二）验证性因子分析
验证性因子分析用来检验因子与相对应的测度项之间的关系是否符合研究者所设计的理论关系，是理论模型的检验过程。本研究将剩余516份样本做验证性因子分析。
1.模型估计
本研究运用软件AMOS18.0建立在线教育资源交互评价二阶因子分析模型，采用最大似然法（Maximum Likelihood，简称ML）对模型进行估计，删除因子负荷未达到标准值的观测指标，将误差值e9与el5之间建立共变关系，修正后得到标准化模型路径参数（见图2）。模型中各项因子负荷介于0.843至0.910之间，符合因子负荷介于0.45至0.95间的适配要求；各误差变异量均为正数，未出现负数的误差变异量。模型修正后，用户个体因素的观测指标为：内容需求（P1）、媒体类型（P2）、内容设计（P3）、知识模块（P4）；网络学习环境维度观测指标为:硬件支持（E1）、软件兼容（E2）、获取便捷（E3）、学习情境（E4）；网络交互行为维度的观测指标为：会话协作（II）、内容交互（12）、自我交互（13）。
2.信效度检验
本研究选取因子负荷、组合信度、平均方差提取量（Average Variance Extracted，简称AVE）三个指标作为信度效度检验指标。平均方差提取量是模型收敛效度指标，其数值越大表示指标越能反映其共同因素构念的潜在特质（吴明隆，2010）。各观测指标中E5、E6、I4、I5、P5、P6、P7的因子负荷未达到标准值。E1、E2、E3、E4的组合信度为0.941，平均方差提取量AVE值为0.799；11、12、13的组合信度为0.921，平均方差提取量人¥£值为0.797；?1、？2、P3、P4的组合信度为0.923，平均方差提取量AVE值为0.751（见表二）。各潜变量的组合信度均大于0.6，平均方差提取量均大于0.5，表示模型的内在质量理想。
3.模型检验结果
在模型的适配度检验方面，绝对适配度指标、增值适配度指标、简约适配度指标均达到适配标准，在自由度等于40时，模型适配度卡方值等于49.786，显著性概率值P=0.138>0.05，接受虚无假设，表示本研究所提理论模型与实际数据契合。总体来看，在线教育资源交互评价模型外在质量佳，测量模型收敛效度理想（见表三）。
从上述检验结果可知，研究假设H1（网络学习环境支持—在线教育资源用户评价）、H2（网络交互行为—在线教育资源用户评价）、H3（用户个体因素—在线教育资源用户评价）三个假设均成立。其中，用户个体因素（0.89）是影响在线教育资源评价的首要因素，其次是网络交互行为（0.48）和网络学习环境（0.45）。在线教育资源对用户个体因素的支持作用，决定了用户对资源质量的主观感受，资源对网络交互行为、网络学习环境的支持使用户获得好的网络学习体验。
（三）路径分析
在网络学习中，在线教育资源支持的网络学习环境、网络交互行为、用户个体因素三个因子相互影响，相互作用。资源对网络学习环境的支持影响网络交互行为和用户个体因素；资源对网络交互行为的支持影响网络学习环境和用户个体因素；资源对用户个体因素的支持影响网络交互行为和学习环境。研究对三个内生潜变量做路径分析（见图3），深入分析教育资源设计建设中需优先考虑的因子和因子间的相互作用。研究假设如下：
Hla:资源对网络学习环境的支持正向影响资源支持的网络交互行为；
Hlb:资源对网络交互行为的支持正向影响资源支持的网络学习环境；
H2a:资源对网络交互行为的支持正向影响资源支持的用户个体因素；
H2b:资源对用户个体因素的支持正向影响资源支持的网络交互行为；
H3a:资源对用户个体行为的支持正向影响资源支持的网络学习环境；
rob:资源对网络学习环境的支持正向影响资源支持的用户个体行为。
本研究运用AMOS18.0验证各路径假设（见表四）。在网络学习中，网络学习环境受用户个体因素
综合模型的因子分析和潜变量路径分析结果显示，在线教育资源教学工具的评价，可从网络教学环境、网络交互行为、用户个体行为三个维度进行；用户评价教学工具时，更关注资源内容、媒体类型、知识模块是否符合自身知识背景需求，而通过资源与其他用户进行会话协作并促进用户反思是影响用户资源评价的重要因素。资源设计应考虑用户个体因素（知识背景、学习风格等）与网络交互行为（会话协作、交互方式等）之间的相互影响。
四、应用与分析
从在线教育资源交互评价PEI二阶因子分析模型（见图2）中，本研究得到各因子负荷大小，将网络学习环境、网络交互行为、用户个体因素三个维度的因子负荷相加，再用单一维度的因子负荷值除以总因子负荷值，可以得到该单一维度的权重，同理可求出二级观测指标的权重（Punniyamoorthy et al.，2011；周平红等，2011）。比如，网络学习环境的权重=0.45/（0.45+0.48+0.89）=0.45/1.82≈0.25。各个潜变量的权重为：网络学习环境0.25、网络交互行为0.26、用户个体因素0.49，各观测变量权重分别是E1=0.25、E2=0.25、E3=0.25、E4=0.25，B1=0.32、B2=0.34、B3=0.34，PI=0.25、P2=0.25、P3=0.25、P4=0.25。
研究抽取了资源内容为“地球和地球仪”的教学工具，将模型应用于该资源的评价。通过使用该工具，用户可以观察地球全景图、经纬线、特殊经纬线、城市位置、地球切割图。从资源支持的网络学习环境看，用户利用个人电脑通过云平台无需下载即可使用，资源大小为11MB的EXE文件；从支持的网络交互行为看，资源支持资源内容与用户交互以及用户自我交互；从资源支持的用户个体因素看，资源是文本、图像、3D动画等多种媒体呈现形式结合，从具体的知识点人手设计，考虑不同学习风格的用户对不同媒体呈现形式的需求。
有七位用户使用资源“地球和地球仪”，应用PEI模型计算七位用户对资源的评价。结果显示网络学习环境维度用户评价为3.56，网络交互行为维度的用户评价为2.68，用户个体因素的评价为3.26，用户对资源的综合评价为3.56*0.25+2.68*0.26+3.26*0.49=3.19。从用户评价看，用户对该资源支持的网络交互行为评价较低，用户对资源总体评价一般。
为深入分析用户对资源的评价，研究者从七位用户中选取一位教龄最长（七年）的用户做访谈，请用户详谈使用该资源的体验和改进建议。
该用户表示：资源对软硬件要求不高，获取使用方便，多角度立体地呈现地球经纬线和切割图，符合用户学习经纬线、特殊经纬线、了解城市所在位置等需求。但是，用户缺少会话协作的渠道，只能借助第三方软件（QQ、微信）交流；在点击资源经纬线等操作时缺少反馈和知识点的讲解，使用过程比较迷茫，资源设计对用户的个人需求考虑不够周全，资源制作不够精细。用户希望资源能更精细和人性化，增加操作反馈和知识点讲解。
五、总结与讨论
本研究从用户个体因素、网络交互行为、网络环境三个维度构建了交互评价模型。实证研究发现:资源对用户个体因素的满足是影响用户评价的首要因素；用户个体因素和用户网络交互行为与资源评价正相关；用户个体因素、网络交互行为、网络环境三个潜变量相互影响、相互作用。PEI模型应用结果表明：1）用户强调网络学习空间中资源对自身需求的满足；2）在线教育资源对会话协作、操作反馈等交互行为的支持影响用户持续使用；3）用户优先选择与教学活动及网络学习环境相关的资源，不适用的资源影响用户评价。
本研究的不足在于：对资源评价三个维度之间的交互影响分析不够，对用户个体因素影响资源选择的分析不够深入，特别是对用户满意度、持续使用意向等问题还有待深入研究和探讨。我们建议：
第一，为满足用户个性化资源需求，应将所有资源开源化，设置在线教育资源优化奖励机制，汇聚用户集体智慧。用户个体因素存在差异，其资源需求也呈“长尾分布”，不同用户对同一资源内容的认知和功能需求各不相同，正所谓“一千个人眼里有一千个哈姆雷特”。随着网络技术的发展，在线教育资源仅使用权限开放，已不能满足用户的个性化需求。如将在线教育资源开源化，用户就可以参与资源设计与建设的整个过程。在参与资源建设中，资源优化奖励机制能激发用户参与积极性，能满足他们“自我实现”的心理需求。用户参与资源建设有利于汇聚集体智慧，当然会带来在线教育资源管理的新问题。
第二，深入研究激发在线用户交互行为的策略，促进用户协作学习和自我交互。《礼记》说，“独学而无友，则孤陋而寡闻”。学习需要相互交流和协作，用户网络交互行为有益于交流协作，资源的设计应注重用户交互行为的激发，促进用户自我交互、自我反思，从而提升彼此的知识技能，实现个人知识建构和深度学习。
第三，提升网络学习环境配置，保障用户交互行为，参与资源建设。网络学习环境、网络交互行为、用户个体因素三者相互影响，并与用户的资源评价正相关。网络学习环境是资源使用的基础，网络交互行为是使用资源的途径，用户个体因素是资源评价的关键，资源对三者的支持是提升资源评价和满意度的根本。然而，在线教育资源要在这三方面完美契合显然有些理想化，用户资源评价本就是“仁者见仁，智者见智”，注重用户使用和建设资源的技能提升是将资源价值发挥到极致的有效途径。
基金项目：全国教育科学规划教育部青年课题“基于视频内容分析的课堂教学评价研究”（ECA130373)。
作者简介：胡萍，博士研究生，华中师范大学教育信息技术学院，研究方向：教育信息化、教育信息资源设计与开发；赵呈领（通讯作者），教授，博士生导师，华中师范大学教育信息技术学院，研究方向：教育信息资源设计与开发；梁云真，博士，河南师范大学教育学院；蒋志辉、黄琰、疏凤芳，博士研究生，华中师范大学教育信息技术学院。
转载自：《开放教育研究》2018年第3期
排版、插图来自公众号：MOOC（微信号：openonline）
喜欢我们就多一次点赞多一次分享吧~
有缘的人终会相聚，慕客君想了想，要是不分享出来，怕我们会擦肩而过~
相关内容
微信扫码咨询专知VIP会员