基于AHP-模糊矩阵的翻转课堂综合评价系统设计
| 全文共7503字，建议阅读时15分钟 |
本文由《现代远距离教育》杂志授权发布
作者：张怡、武小鹏
摘要
翻转课堂作为教育教学的重要变革，已经成为一种新型的教育教学形式风靡全球。然而对于翻转课堂的评价，尤其是基于数据的翻转课堂教学评价体系研究还很少。借助AHP模型建构法和模糊数学的相关理论，构建了翻转课堂教学评价指标体系，建立了翻转课堂综合评价模型。该模型实现了从传统的单纯依靠专家凭印象打分向系统的项目化过程性评价的转变，并结合模型算法构建了基于网络平台的翻转课堂评价系统，为科学合理地评价翻转课堂教学提供参考。
关键词：翻转课堂；层次分析；模糊评价；评价系统
一、翻转课堂及其评价概述
2004年，可汗学院的创始人孟加拉裔美国人萨尔曼·可汗帮助表妹解决数学难题，他通过互动写字板、电话和雅虎聊天软件解答表妹的问题，随后可汗的其他亲戚朋友也以此讨教。可汗索性将视频辅导资料上传到Youtube网站上来帮助他们学习。但惊奇的是，他的视频和做法迅速在网上走红，受到广泛的关注。这种学生在课下自主通过视频等资源进行学习，课堂与教师互动解答疑问的教学组织方式，是将课堂内外的活动“翻转”过来，成为了翻转课堂的雏形[1]。
翻转课堂作为一种全新的教学模式，源于2007年萨尔曼·可汗成立可汗学院——一个非营利性组织，该组织专门利用网络视频方式讲解不同科目的内容，供学习者学习。2011年这种教学模式迅速扩展到全球，并被《环球邮报》誉为影响课堂教学的重要技术变革。同年，重庆市聚奎中学率先将翻转课堂应用到我国基础教育中并结合本校教学实际，对翻转课堂做了适切性调整改进，总结得出翻转课堂的“三四五六”教学模式[2]。自2013年起，我国对翻转课堂的研究大幅提升，翻转课堂变成我国教育领域的研究热点。相关领域的研究成果较为丰富，并针对我国教育教学的特点开展了一系列本土化实践活动，提出了如“校内翻转”“家校翻转”“课内翻转”等多种翻转课堂教学模式[3]。翻转课堂比传统课堂环境中学生学习效果更好。课堂翻转已经作为一种新型的教育教学形式风靡全球[4]。
教学是一个很复杂的系统，由于影响教学的因素繁多，课堂教学的评价也显得异常复杂，翻转课堂也是如此。目前关于翻转课堂的评价还不是很成熟，其中具有代表性的有：李馨借鉴CDIO教学模式评价标准，从翻转课堂教学质量评价的理论基础、基本原则等方面提出了翻转课堂体系建设路线图，对进一步建构不同层次、不同学科内容的翻转课堂评价体系奠定了基础[5]；张涛等将布卢姆教学目标分类理与Kirkpatrick评估模型相结合，从四个层次构建了翻转课堂学习绩效评价模型，并在问卷调查法和访谈法搜集数据资料的基础上，对该模型进行了实证研究[6]；黄美初等通过对实施翻转课堂的24位教师和学生采用质性研究范式，运用半开放式访谈法进行深度访谈，对访谈内容进行分析，提取出影响翻转课堂教学的五个关键要素，即课程资源、学习评价、学习支持服务、学习者、课程教师，为进一步对翻转课堂的实证研究打下了基础[7]；蒋立兵等以过程性评价、发展性评价以及表现性评价为理论基础，得出翻转课堂教学评价的本体特征和应然取向，构建了翻转课堂教学评价体系[8]。据文献分析发现，现有的翻转课堂教学评价主要集中在对评价因子的提取方面，考察翻转课堂的影响因素，侧重理论的思辨，而具体可操作性的评价方法还很少。本研究借助AHP-模糊矩阵，结合特尔斐法，建立了翻转课堂综合量化评价模型，设计切合教学实际的翻转课堂教学评价系统，力图为翻转课堂教学实践评价提供参考。
二、AHP-模糊评价理论
20世纪70年代初，美国运筹学家T.L.Satty提出了一种定性与定量相结合的决策分析方法——层次分析法（The Analytic Hierarchy Process，简称AHP）[9]。它是一种将决策者复杂的决策思维过程数量化、模型化的决策方法。决策者在运用这种方法时，通过将复杂的问题分解成若干要素和若干层次，对各要素和各层次之间进行简单的计算与比较，得到不同方案的权重，从而经过选择得到最佳方案[10]。层次分析法可将决策者的主观判断和思维过程数量化、规范化，让思维按照一定的顺序和规则进行，同时也使得不确定的因素大幅降低。这种方法不仅保持了决策者思维过程和决策过程的一致性，而且大幅度简化了系统分析和复杂的运算过程，尤其是对于涉及复杂系统的决策问题，由于系统的复杂性难以全部量化处理，层次分析法可以得到相对优化的决策。层次分析法是一种解决复杂问题的量化的科学分析方法[11]。
1965年，L.A.Zadeh创立了模糊理论，该理论的数学模型相对简单，应用简便、易掌握。模糊理论对于复杂的多层次问题的解决效果比较好，这是其他数学模型和数学内容难以替代的。在该理论的基础上，L.A.Zadeh进一步提出了模糊综合评价方法，该方法可多对因素影响下的事物做出总体综合评价，它是利用数学的理论和方法处理客观现实问题的一种良好方法[12]。然而课堂教学作为一个复杂的系统，其评价过程要考虑到多方面的影响因素，因此将层次分析法和模糊数学的理论有效地引入到翻转课堂教学的评价当中，能够很好地体现课堂教学的真实性和评价的客观性。
在翻转课堂教学的评价中，影响课堂教学的因素往往是模糊的，不具有明确的界限，也无法给出十分精确的判断，其往往也不存在清晰的外延，这也是课堂教学难以用传统的数学方法进行刻画的原因之一。AHP-模糊综合评价是一个基于分层化的聚焦评价过程的模糊评价模型，是一种非线性的评价，评价过程进行量化综合分析，提取出可比较的量化结果。采用这种方法评价翻转课堂教学质量，可以最大限度地接近实际教学情况。本研究利用该方法较为全面地综合了各个评价主体的意见，客观地反映了评价对象的优劣程度。该评价过程可以简单地概括为[13]：首先确定因素集，即将通过层次分析法得出影响翻转课堂教学的各个因素；其次选取评判集，从影响翻转课堂教学因素中选出不同的评审等级；然后列出模糊矩阵，即通过专家评审系统得出各影响因素对翻转课堂教学的归属程度；最后根据各因素对影响翻转课堂教学质量的权重分配，通过模糊矩阵合成，得出评价的最终结果。
三、翻转课堂教学评价指标体系构建
（一）翻转课堂教学评价指标体系的构建原则
巴班斯基认为，教学过程由“教”与“学”两个要素构成，两者之间有着内在一致性，不仅仅是两者之间简单的相加。教学需要把“教”和“学”在保持其特征不变的情况下有机地结合在一起[14]。因而，翻转课堂教学的评价也应当考虑到“教”与“学”之间的辩证关系，需要符合以下原则[15]：
1.评价的整体完整性、系统构建性原则
翻转课堂虽然和传统课堂教学在形式上有很大的变化，但只是课堂的组织形式发生了变化，课堂教学的本质内涵还是一致的。因此，翻转课堂教学的评价不仅应该强调课堂上的教学活动质量，还应该包括课堂教学前学习资源的整合和优化情况，不仅要考察学生知识与技能的掌握情况，更应当强调学生学习过程、学生情感态度价值观、学生核心素养等方面的培育。
2.评价的教学导向性、过程与成效并重原则
课堂教学评价所特有的诊断、导向、激励的功能可以促成教师的关联性体验，帮助教师尽快摆脱传统教学的“惯性”，把课堂教学改革的实践落到实处[16]。因而，翻转课堂教学的评价应该将评价的目标细化，使得教学更有目的性、教学更加具体，达到通过评价促进课堂教学全面发展的目的，同时也应该体现课堂中心由“教师教”向“学生学”转变。
3.评价的客观、准确、可操作性原则
课堂评价是一个很复杂的系统过程，由于教学中的大多数行为都是内隐的，很难用简单的判断得出结论。要将课堂教学行为量化，并且做到具体可操作，是课堂教学从理论转化为实践的关键环节。因此，在翻转课堂的教学的评价中，应当在尽量考虑课堂教学全面性的同时做到评价的可操作，甚至是易操作，这样评价才能从理论走向实践。
4.评价指标相互独立性、评价体系多元化发展的原则
作为优良的课堂教学评价指标，评价的各指标之间应该相互独立，不存在彼此间的嵌套和包含关系，每个指标都应当是相互独立的评价单元，否则会出现评价各指标之间的连锁效应。为了达到各指标之间的相互独立，首先应该清楚地划分翻转课堂教学的评价维度，再依据翻转课堂自身特点将不同维度细化为具体的观测点。
（二）翻转课堂教学评价指标体系的构建过程
翻转课堂的评价过程考虑到了以下理论。首先，翻转课堂与混合式学习理论密切相关，翻转课堂教学过程充分利用了网络视频远程学习与课堂教学相结合的形式，即将网络化学习方式的优势与传统学习方式的优势结合起来[17]。其次，翻转课堂的评价应该基于教学成效，在教学过程中所涵盖的教学方法、学习的课程、学习环境以及评测过程都应该相互协调，基于成效的教学理论已经在美国、英国、澳大利亚、新西兰、南非等国家实施并取得了良好的效果[18]。最后，翻转课堂的评价应该考虑到第四代评价理论，第四代评价理论将评价定位在发展的基础之上，强调评价过程中体现人的价值观念，主张评价主体在相互作用过程中形成的“心理建构物”。第四代评价理论体现了评价的“全面参与”“共同建构”“价值多元化”“质性与量化相结合”的评价思想和方法[19]。
基于以上理论，构建翻转课堂教学评价指标体系，既要处理好过程性评价与产生的学习成效之间的关系，又要将课程设计、教学项目的策划、教与学课程评估的思想进行整合，并贯穿到翻转课堂教学评价指标体系构建的全过程。评价指标体系要充分体现评价内容的全面性、评价主体的多元化、评价方法的多样化、评价关系的平等性。依据翻转课堂教学本身特点，首先将翻转课堂教学的评价分成了三个方面，即课前学习材料、课堂教学活动和课堂教学效果。课前学习材料主要是指教师给学生准备的包括微视频、网络在线资源、学法指导材料、自我检测试题等一系列供自主学习的材料。评价这些材料主要考虑到内容的合理性和技术方法的可行性。课堂教学活动涉及到教法、学法和学习活动设计的评价，注重评价教学的过程性。课堂教学效果的评价，按照三维目标展开，考虑学生在知识技能、过程方法和情感态度价值观三方面的全面发展。为了让评价指标体系具体可操作性，又将三个方面、八个维度的内容细化成26个观测点，具体结构如图1所示。
（三）翻转课堂教学评价指标体系的一致性验证
为了检验构建的26个评价指标是否具有内部一致性，在研究过程中采用10位不同专家对同一课例就26个指标进行单独赋分，其中教育技术研究人员（高校）4人，一线教师（高级职称以上）5人，教研员1人。并对两两之间进行相关性分析，得到如下相关矩阵，如表1所示。
依据表1，不同专家在26个指标上的评分两两之间相关性显著，这表明该评价指标体系内部具有一致性，在一定的程度上表明了评价指标体系的可靠性。在评分的同时，设置了开放性指标征集，如“您认为在翻转课堂教学评价中还有哪些重要的指标？还有您认为以上26个指标哪些对翻转课堂教学评价中作用不大？”统计结果显示，其中多数专家认为指标相对全面，无补充。部分专家反馈意见不尽统一，因而没有采纳。该系统的指标还可以在不断的评价中加以完善，可以增加和减少指标，不过在改变相应的指标后，需要对相应的权重做出界定，评价系统也会随之发生改变，但总体不会影响评价体系的整体架构。
四、AHP-模糊矩阵的翻转课堂评价模型构建
（一）确定评价因素集
（二）确定评价变量集
当评价因素集确定后，就是要给各评价指标赋值，各个评价指标赋予一定的有意义的量后，就变成了评价变量集。为了得到评价变量集，首先需要各评价者按照图1，采取李克特5级评分法进行赋分。考虑到评价目的不同，评价者会发生相应的改变。如评价是为了进行课堂教学竞赛，评比出相应的等级，那么评价者应为教育技术和课堂教学的专家构成；如果评价仅仅是为了促进课堂教学改革，评价者可有学科组教师、教研员和学生组成。依据不同的评价目的，选取相应的评价者对被评价的翻转课堂教学课例进行评判，评价者只需要对翻转课堂教学评价指标的26个观测点进行相应的等级评判，在评价界面处点击选择相应的等级，然后通过评价系统内部程序对不同等级编码比例做统计运算，本研究将各观测点最终的百分比定义为评价变量值。按照上述过程便可得到评价变量集，得出评价变量集如下所示。
（三）确定评价权重系数
1. 构造判断矩阵
权重系数的确定直接影响到翻转课堂评价体系的质量和准确性，本研究采用了Satty教授在AHP理论中提出的9点法对指标权重进行分配，评价专家依据9点法指标评分标度表（如表2所示），排定各指标的优劣顺序，依次构造各指标的判断矩阵。如有多位专家评分不尽一致，可以通过求平均找近似值确定。
以一级指标为例，通过不同专家评定求平均找相应近似值建立判断矩阵为：
层次分析法中的判断矩阵是将人的主观判断为主的定性分析进行量化，是定性分析转化为定量分析最关键的一步[20]。
2.计算权重系数
接下来，可按照如下步骤求得权重系数[21]。
（1）计算判断矩阵每行元素的乘积：
3.一致性检验
由于判断矩阵中的值是由不同专家通过对指标进行两两对比后，依据表2判断所得，由于不同专家在对比时的价值取向和定级技巧不同，再加上表2中的重要性等级赋值也很难做到等距。因此，很有必要对指标的一致性进行验证。一致性检验指标采用CR[22]。
其中
如果CR≤0.01，则权重系数具有满意的一致性，否则需要通过专家进行核验调整，直到满意为止。
（四）构建综合评价模型
依据模糊理论，三级评价指标集就等于三级权重系数与评价变量集构成的矩阵的乘积，即三级权重系数与专家评分比例构成的矩阵的乘积。同理，二级评价指标集等于二级权重系数与三级评价指标集构成矩阵的乘积，一级评价指标集等于一级权重系数与二级评价指标集构成的向量的乘积。因此得到一级评价指标如下所示。
为了将一级评价指标集化成对应的百分制，本研究分别给评价等级“优秀”“良好”“一般”“合格”“较差”赋予90、80、70、60、50分，则评价等级参数矩阵为V=（90，80，70，60，50），因此，翻转课堂教学AHP-模糊矩阵综合评级结果就为：
（五）翻转课堂实例评价
课例选取2016年全国基于微课的翻转课堂教学观摩研讨会上展示的“三角形的外角”为例，通过14位中学一线教师和7位数学教育专家单独按照表1进行评价，在通过计算21评价者不同等级的比例得到
将以上数据带入（四）中的翻转课堂教学AHP-模糊矩阵综合评级模型，得到
A=（0.927，0.102，0.011，0.003，0.000）
因此综合评价等级
五、翻转课堂评价系统架构
基于AHP-模糊矩阵的翻转课堂评价模型设计原理虽然难度不是很大，但是如果对每位专家的评分进行人工计算统计，还是很复杂，可行性不够。因此，本研究设计了基于网络平台的算法程序系统，可以利用程序和人性化的Web人机交互界面，实现翻转课堂评价系统使用的可行性和便捷性。基于AHP-模糊矩阵的翻转课堂评价系统在充分考虑系统开发背景和多用户同时操作需求的基础上，利用网络资源达到支持并发控制和网络共享[23]，总体设计框架如图2所示。
该系统总体采用B/S模式构架，由客户端和服务器端两部分组成。客户端仅需要安装普通浏览器即可，不需要安装专门设置的软件。利用异步交互式Ajax引擎设计，创建交互式、动态的网站开发设计，可实现服务器响应和用户异步操作，从而提高了用户操作响应速度，减低了服务器的工作压力。有效地实现了客户端借助服务端的数据按需请求和及时显示服务器端处理的结果[24]。服务器端负责对专家评分数据进行信息储存，按照程序进行数据运算，并输出评价结果。其原理采用MVC三层结构理论，如图3所示。
视图层采用JSP动态网页技术，JSP的基本原理是将Java程序语言和JSP标记加入在HTML中。JSP网页中的Java程序语言可实现网页重定向、对数据库的操作等功能，由此实现了网页动态加载技术。控制层采用Servlet技术，Servlet在服务器可以完成获取客户端浏览器上通过HTML表单提交的数据和相关信息；创建并返回客户端的动态响应网页；访问服务器端的文件和数据库；为JSP页面准备动态数据，与JSP协作创建响应页面。模型层采用JavaBean，通过Java程序语言实现数据的模型化，并最终计算出评价结果，将评价结果返回到数据库和控制层。数据库管理系统采用MySQL，具有体积小、运算速度快、总体运行成本低，对服务器硬件要求低，以及简单、易学，代码通用性高、支持多种语言等特点。[25]
六、讨论与展望
基于AHP-模糊矩阵的翻转课堂评价模型及其系统设计实现了翻转课堂教学评价的信息化，该评价模型系统利用AHP模型构建法和特尔斐法建立评价指标体系，使得评价指标更加科学合理。实现了从传统的单纯依靠专家凭印象打分向系统的项目化过程性评价转变。评价系统将不同专家的系统化评分通过模糊数学理论建立模型，进行综合化考虑。该模型灵敏度高，与不同专家的各项指标均有相关关系，评价结果相对比较精确地体现了各个专家的不同指标的评分，使得评价结果更加体现过程性和全面性，更加符合翻转课堂教学的实际。
同时由于该评价体系在评价指标的提取上虽然采用了较为科学的层次分析理论和专家评分系统，但其可信度还需要经过较大规模的翻转课堂教学实验结果加以修正，还存在某些评价指标与实际情况吻合度不够的可能，再有本研究在确立评价权重系数时综合了21位专家的权重，对权重系数还有待于更大数据的验证。在系统实现方面根据不同评价需求进行调整。
今后的研究中，在考虑本评价系统更加适切和准确的同时，可以设计不同需求的评价方案，对翻转课堂进行不同层面的多元化评价，如针对翻转课堂教学比赛的结果性评价方案，针对翻转课堂教学改革的诊断性评价方案，针对翻转课堂教学监控的过程性评价方案等。可以是多元化的评价基于同一个评价平台，有助于对同一翻转课堂的多元化、全方位的评价。
基金项目：2018年贵州省教育科学规划青年课题“话语分析视角下课堂教学体现数学核心素养的测评研究”（编号：2018C002）。
作者简介：张怡，华东师范大学数学科学学院博士研究生，黔南民族师范学院数学与统计学院讲师；武小鹏，华东师范大学教师教育学院博士研究生，黔南民族师范学院数学与统计学院讲师。
转载自：《现代远距离教育》杂志 2018年第5期
排版、插图来自公众号：MOOC（微信号：openonline）
喜欢我们就多一次点赞多一次分享吧~
有缘的人终会相聚，慕客君想了想，要是不分享出来，怕我们会擦肩而过~
相关内容
微信扫码咨询专知VIP会员