课堂环境中基于面部表情的教学效果分析
| 全文共7721字，建议阅读时长7分钟 |
本文由《现代远程教育研究》杂志授权发布
作者：韩丽、李洋、周子佳、宋沛轩
摘要
追求教学效率是教学的本质特性，也是当前课程改革的重要目标；而课堂是教师提高教学质量，实现有效教学的主战场。当前教师主要采用课堂观察和提问的方式与学生交互，无疑会因个人精力不足等原因，造成信息传递与反馈的片面性与滞后性。信息技术的高速发展，特别是视频监控系统的智能化发展，为弥补上述问题提供了可能。结合现有智能监控设备设计的课堂教学评价系统，利用多姿态人脸检测和面部表情识别技术，及时获取学生在学习过程中的情绪变化，反馈给教师，帮助教师准确全面地掌握所有学生在课堂教学中的参与情况。该系统不仅能够自动跟踪及分析教学过程中学生的整体状态，有效掌控课堂教学过程；还可指定跟踪对象，对指定对象在课堂中的状态进行统计分析，以便进行个体的针对性指导以及学习问题的及时矫正。
关键词：课堂环境；人脸检测；表情识别；高效课堂；教学评价
一、引言
追求教学效率是教学的本质特性，也是当前课程改革的重要目标，更是教育事业实现内涵发展的必然要求。课堂教学是教师传授知识、学生学习知识的场所，是师生、生生之间交往互动的空间，是教师引导学生发展、探究知识的主渠道。因此，课堂教学是教师提高课堂教学质量，实现有效教学的主战场。作为课堂教学的主导者，教师希望在教学过程中能够实时地了解学生对于知识点的理解与掌握情况，以调整教学进度，掌控教学过程。然而，目前教师一般采用课堂观察以及提问等方式与学生进行交互，这无疑会造成信息传递与反馈的片面性以及滞后性。
计算机、互联网技术的进步以及图像处理、模式识别等理论的发展，推动了智能视频监控系统（范亚男等，2010）的应用。视频监控系统的出现，大大弥补了人工监控的不足，降低了失误率与工作强度，提高了工作效率。视频监控系统不仅能起到记录影像的作用，而且随着社会对监控应用需求的不断提高，还展现出实时、主动、跟踪以及分析等性能优势，使得监控应用迈入了智能化阶段。智能化操作可以让视频监控系统自动进行定位、识别与跟踪，自动根据监控目标的状态反馈有用的信息，并自动进行一定的应急操作。
然而，目前将视频监控技术与高效教学模式相结合的研究还较少，尤其高效课堂管理与视频分析技术的融合更是罕见。因此，本文针对高效课堂教学的应用需求，结合现有的智能监控设备，提出了基于面部表情分析的高效课堂评价方法。
二、相关研究
心理学家Mehrabian指出，情感信息的表达=7%的语言+38%声音+55%的面部表情（Mehrabian，1968）。由此可见，表情在人类情感判断中的重要地位。表情识别技术是模式识别的一部分，它是指利用计算机研究一个自动、高效、准确的系统来识别人脸表情的状态，进而通过人脸表情了解人的情绪，比如高兴、悲伤、愤怒、恐惧、惊讶、厌恶等（施徐敢等，2014）。表情识别在疲劳驾驶、商业宣传、心理医疗、安防监控等领域应用广泛。同样表情识别可以应用于教育领域中，通过观察学生面部表情变化，了解学生的心理状态，帮助教师掌握学生对知识点的关注度、理解度及兴趣度等信息，以采取相应的教学调控手段，提高教学质量。
目前把表情识别分析作为教学评价方式的研究还不够广泛。大多数研究基于在线学习环境，通过面部表情识别分析来判断学生情感状态，再根据学习者的情绪状态给出相应的情感补偿，从而弥补在线教育中的情感缺失问题。如，冯满堂等探索性地将表情识别技术引入传统智能网络教学系统中，实现了网络环境下兼顾认知和情感两方面的个性化教学，从而提高网络环境下的教学效率（冯满堂等，2011）。程萌萌等构建了包括教师、学生、课程、情感四部分的智能教学系统结构模型，创新性地利用表情识别与视线跟踪技术实现情感模块的反馈，为网络学习中情感反馈机制的发展提供技术支持（程萌萌等，2013）。孙波等通过将个体的人脸特征与表情特征相分离，排除无关因素对表情识别效果的干扰，提高了表情识别的准确性，并将此应用在三维虚拟学习平台Magic Learning的师生情感交互子系统上，成功地实现了基于面部表情的学习者情感识别及情感干预功能（孙波等，2015）。詹泽慧开发的基于智能Agent的远程学习者情感与认知识别模型，结合了表情识别和眼动追踪技术，提高了远程环境下学习者状态判断的准确率，改进了Agent对学习者的情感和认知支持（詹泽慧，2013）。
在传统课堂中利用先进技术手段提取学生面部表情，从而推导学生听课状态的即时评价方式，当前研究还较少。何祎建立了课堂教学评价指标体系，创新性地将情感因素纳入其中，通过情感计算技术围绕面部表情、语音表情和动作表情三个方面判断学生的情绪状态，同时把基于情感的评价指标体系分别应用到英语、数学、信息技术课堂，经过验证得出该评价体系是准确可行的；情感因素的引入是十分有必要的，它可帮助教师更加全面地了解学生的学习状态（何祎，2015）。情感对认知的影响很大，它既可以促进认知的发生又可以抑制认知过程的顺利开展。因此，教师在课堂中对学生情感的掌控，有利于帮助其根据学生的情感状态调整教学进度、教学方法等，从而调动学生学习的积极性，促进有意义学习的发生。但是在实际课堂中，教师的主要精力在教学上，对学生情绪的关注缺乏全面性，因此需要先进的智能技术帮助教师提取学生的表情特征，并自动地分析出学生的情感状态，借此辅助教师的教学，为课堂教学反馈提供一个有利的指标。目前，侯洪涛对课堂环境下的表情识别算法进行了简化，提高了算法的安全性和鲁棒性，使其能够更好地识别出学生的表情特征（侯洪涛，2015）。这些技术上的发展，使表情识别技术走进课堂教学更加科学可行。
本文在已有研究基础上，针对高效课堂教学的应用需求，结合现有的智能监控设备，提出了基于面部表情分析的高效课堂评价方法。该方法不仅能够实时智能检测学生人脸信息并进行高效的表情分析，推导出学生的听课状态（倾听、疑惑、理解、抗拒、不屑等），而且可以进一步统计学生在课堂教学中的参与度、关注度与活跃时间；不仅能够辅助教师分析课堂教学效果，而且能够跟踪及分析教学过程中学生的整体状态，从而有效地掌控课堂教学过程。该方法还可指定跟踪对象，对指定对象在课堂中的状态进行统计分析，以对学生个体进行针对性的指导以及学习问题的及时矫正。
三、系统设计
以学生为中心的高效课堂教学过程，需要教师根据具体教学情况，灵活运用各种教学方法，发现和培养创新人才，成为学生创造潜能的开发者。调动学生课堂学习的主动性，教师要实时观察学生状态，鼓励学生积极参与、独立思考，让学生获得求知的愉悦感，最大限度激发学生的主体意识和主体精神。然而，一对多的课堂教学中难免会出现教师观察学生的不全面性，学生反馈的不及时性，从而一定程度上影响教学效果。
为了提高课堂教学质量，帮助教师实时分析学生的学习状态，解决学生存在的学习问题，本文提出利用视频监控系统的实时性与智能性，基于人脸实时检测与表情分析课堂效果，辅助教师及时掌握课堂学生学习状态，实现课堂教学的信息反馈实时性、信息传递高效性、信息处理智能性。其结构如图1所示。
视频监控模块。保证对各教室的实时拍摄，达到监看无盲区、图像清晰，并将视频信号通过专设线路传输到主控计算机。研究初步采用了2台固定摄像机安装方式，负责教室宽景大角度录制，有效避免目标的遮挡。摄像头具有多倍光学变焦和电子变焦，自动光圈。自动光圈调节功能，可以根据监控现场光线的明暗来自动调节光圈，清晰显示图象细节。
图像采集模块。通过设置频率，自动进行视频图像采集，并输送给图像处理模块。
图像处理模块。实现图像的多目标人脸检测，提取脸部特征区域，进行学生表情分析。
统计分析模块。通过人脸与表情分析，分析学生对课程内容的关注度、参与度、活跃时间等。
1.基于视频图像的人脸检测方法
目前中小学校教室一般容纳学生30～50人左右。在课堂教学中，每个学生会呈现不同的姿态与表情，因此监控视频影像具有场景复杂、目标多态的特点。为了有效捕捉教室中每个学生的人脸信息，我们在深入调研常用的视频监控系统设备及其架构体系基础上，结合教室实际情况，建立了具有安全稳定性、技术先进性、性价比合理性的高清全景视频监控系统。
给定一个静态图像或视频序列，要求定位和检测出一个或多个人脸或其五官的位置，需要三个步骤，即图像分割、人脸的提取、特征的提取。由于人脸的个体差异，姿态不同，表情变化以及光照的影响，使得面部特征点的定位与跟踪非常具有挑战性。现有的人脸特征点定位方法大致可以分为基于模型的定位和非模型的定位。其中，基于模型的定位方法是当前的主流研究方法，AAM（Active Appearance Model，主动外观模型）模型（吴证，2007）因其准确性和鲁棒性成为特征定位最常用的方法。本文在引入AAM模型基础之上，进一步结合局部约束模型（Constrained Local Model）（翟倩茹，2012），实现了多姿态人脸特征的提取。
如图2所示，AAM是通过对训练集中的关键点标记，并利用主成分分析（Principal Components Analysis，PCA）降维提取平均形状，作为形状模型。为了使形状模型能够适应人脸形状的各种变化，训练集中的图像需要尽可能包括人脸的姿态、表情和光照变化。局部约束模型的建立，提取训练集中的关键点局部纹理作为正确样本，偏离关键点一定距离的区域图像作为错误样本，利用支持向量机（Support Vector Machine，SVM）进行训练，得到局部纹理模型。利用建立的局部约束模型对人脸图像进行特征点定位过程中，首先要进行特征点位置初始化，计算局部响应图像，结合形状模型的约束，不断进行迭代，以得到最终的特征点位置。
基于现有的AAM及CLM方法，融合形状模型与局部纹理模型，进行多姿态人脸特征的提取，有效解决了人脸姿态的多样性，对遮挡目标也呈现了较好的检测效果。如图3（a）所示，对于学生个体的特写图像，本方法可有效地识别其头部转角，以及脸部特征区域，其中框及点为特征检测的滤波区域及中心点。而且其对于眼镜、手部遮挡等噪声，体现了强稳定性。图3（b）为针对侧面局部图像进行的多目标人脸检测结果，除了个别脸部偏转或遮挡过大，其他学生的面部特征均可有效地获取。图3（c）为高清正面图像的多目标人脸检测，验证了本方法的优越性能。
2.面部表情分析
（1）面部表情与心理状态
表情是情绪的客观外显行为，也是研究人类情绪的客观指标（孟昭兰，1987）。面部表情是可测量的，测量的对象是人脸面部肌肉运动本身（孟昭兰，1987）。美国著名心理学专家保罗·艾克曼的面部感情记录技术可以测量出愉快、惊奇、厌恶、愤怒、惧怕、悲伤6种情绪（孟昭兰，1987）。但这6种情绪并不适用于教学。本文罗列了与教学有关的5种面部表情，即倾听、疑惑、理解、抗拒、不屑（见图4）。课堂教学中，学生的表情向教师传达了大量信息。学生倾听时面部表情是愉快的，身体会向前倾斜，这代表他对当前学习内容感兴趣，愿意学习。当学生不接受当前所学习的内容时，他们会表现出抗拒的姿态，比如长时间低头、课上睡觉等。学生听不懂学习内容时则会出现皱眉的表情等。在这里还要提到一个概念——微表情。比起人们有意识做出的表情，“微表情”更能体现人们真实的感受和动机。微表情（吴奇等，2010）（面部特征微表情）是心理应激微反应的一部分，它从人类本能出发，不受思想的控制，因此无法掩饰，也不能伪装。
微表情应用到司法领域，可以帮助警察判断犯罪嫌疑人是否说谎；应用于临床医学，可以帮助治愈患者；应用于教育领域，可以帮助教师了解学生情感状态，从而进行情感干预，激活学生的情感因素，让其从内心深处热爱学习，愿意学习。课堂中，学生的微表情变化是教师无法全面捕获的。
我们引入多姿态人脸检测方法（吴蓓，2006）和面部表情识别技术，有效建立面部微表情与心理变化的关系，分析隐藏在微表情下的客观与主观心理状态（如图4）。最终，依据表情变化统计分析学生对于课堂教学内容的关注度、参与度、活跃时间分布，便于教师准确了解学生状态，掌控教学过程。
（2）表情特征定义
通过调查问卷及访谈，我们将学生在听课过程中存在的心理状态分为倾听、疑惑、理解、抗拒、不屑5种状态。依据伊扎德的最大限度辨别面部运动编码系统（即Max），从眼、眉、嘴部以及头部特征来测量5种情绪（孟昭兰，1987）。这里主要根据学生头部角度、眉毛两端与眼睛中点夹角、唇部三部位特征变化来判断这5种状态，具体如上表。
为了有效观察人脸的表情特征，主要针对提取的脸部特征点，计算其头部姿态（转角α）、唇部偏转（d）及眉目角度（β）等参数进行分析，具体如图5。
图6是把该方法引入到某高中课堂教学环境中，系统智能地检测监控全景图像中人脸特征点与头部姿态。这里，定义每个学生的初始化头部姿态为-1，若检测成功，则计算出对应的头部角度值。从图中可了解到，大部分同学能够成功地被系统捕捉到，系统自动地标出了他们的头部角度值，即每位同学头部位置标注的数字；图中学生的眉、眼、鼻和嘴等部位的点序列是学生的面部表情特征。根据上述对倾听、疑惑、理解、抗拒和不屑5种表情的定义，即综合学生的眉目角度值、唇部偏转值，以及头部角度值，分析出每个学生的听课状态，辅助系统下一步统计分析整体学生听课状态。
四、基于面部表情的教学效果评价
本文将传统认知行为与学生头部姿态及面部表情行为相结合，构建整体、系统的学习效果评价体系。该体系从学生个体以及课堂整体两方面对课堂教学效果进行评价。
1.针对学生个体进行头部姿态分析
引入头部在三个方向的夹角α进行头部状态跟踪。如图7为跟踪学生个体A在时间t＜2min内的头部姿态变化。图8是学生A与整体学生头部姿态变化的差异度分析。由图7、8可直观地看到，学生A姿态变化较小，均处于0~60度之间，处于积极听课状态。
2.针对学生个体进行面部表情分析
本文引入眉毛两端与眼睛中心点的角度β进行眉目特征分析：当β＜=120°，为眉目舒展状态；当β＞120°，为眉头紧蹙状态（如图9所示）。对于唇部分析，可通过其嘴角特征线与中心线的正负偏差d获得（如图10）。
由图9可见，在统计时间内学生A的眉目大体上处于“紧蹙”状态。结合头部姿态可知，学生目前处于“积极的听课”状态，但是多数时间心理感受是“疑惑”。图10为学生的唇部状态，进一步印证了学生A对于课程内容的理解困难状态。
3.课堂整体教学效果评价
课堂效果的整体评价是通过计算学生的关注度、参与度、活跃时间及疑难程度来衡量。学生的关注度、参与度以及疑难程度的计算是对离散为各个t时刻间隔的影像进行分析获得。针对微表情的有效时间以及计算效率，设定采集图像的频率为t=2.5s。活跃时间是针对整堂课程的时间进行综合分析获得。其具体的统计公式如下：
（1）关注度η（t）
初始值设定每个学生的角度参数为=-1；则当t时刻，学生个体处于倾听状态，即其头部角度检测值不大于30度时，设定该学生对课堂内容的关注度系数为1，否则为0；N为教室中学生的总数，则课堂关注度的计算如公式（1）所示：
（2）参与度r（t）
采用排除法，主要判断学生处于消极状态（抗拒与不屑）的人数，即头部检测失败（=-1）或者头部角度大于60度，则参与度可由公式（2）获得：
（3）疑惑程度k（t）
通过判断学生的头部姿态、眉目及唇部信息，分析处于疑惑心理状态的学生数目，具体见公式（3）：
（4）活跃时间T
当t时刻的学生参与度r（t）＞σ时，学生整体处于活跃状态；其中σ为阈值，实验中设定为0.75，即课堂上有75%的学生处于积极状态，设图像采样为M帧，活跃时间可由公式（4）计算：
针对课堂全景教学效果的分析结果，系统用不同颜色标注，如黄绿色显示当前学生的整体关注度，浅蓝色显示学生的参与程度，红色显示当前教学内容的疑难程度。如果某一时刻学生的关注度、参与度和疑难程度都非常低，说明学生听课不在状态，教师要提高警惕，调整教学策略，活跃课堂氛围来提高教学效率。该系统除了可对整体课堂状态进行即时评价，还可以检测出处于消极情绪状态（抗拒和不屑）的学生，向教师发送信号，引起教师注意。在这里，系统就似一个“警报装备”，时刻拉起教学中的警钟，提醒教师也提醒学生。
最后研究通过人工统计与系统检测对比，验证了该系统对课堂整体的关注度、参与度、疑难度和活跃时间检测的准确性，实验结果如图11。图中白色代表实际值，黑色代表系统检测值，关注度、参与度、疑难度以及活跃时间的准确率分别为88%、87%、80%、85%，其准确率均高于80%，表明本系统可以应用到课堂教学中，并且可获得较准确的情感数据。
五、结论
针对高效课堂教学的应用需求，结合目前视频监控技术以及人脸识别技术，本文研究了基于人脸检测与表情分析的课堂教学评价系统。该系统融合了现有的主动外观模型与局部约束模型，提高了人脸检测的多目标、多姿态特性，解决了人脸遮挡、扭转等噪声带来的影响。同时，研究全面调研了学生课堂上的常见面部表情与心理状态，总结了人脸特征点与课堂学生心理状态的关系，并进一步定义了评价课堂效果的参与度、疑难度以及关注度等评价指数。文中把面部表情作为一种评价因素是一种创新，但还有很多相关问题有待进一步研究，比如如何进一步提高教师与系统的人机交互性，如何提升教师与学生对系统功能的满意度等。
作者简介：韩丽，博士，教授，硕士生导师；李洋，硕士研究生，辽宁师范大学计算机与信息技术学院（辽宁大连 116029）；周子佳，本科生，同济大学（上海 200092）；宋沛轩，硕士研究生，辽宁师范大学计算机与信息技术学院（辽宁大连 116029）。
基金项目：辽宁省本科生创新实践项目“三维人体模型的姿态识别与动画角色仿真技术”（201510165048）； 大连市社科联重大课题“智能系统在教学中的应用”（2015870）。
转载自：《现代远程教育研究 》2017年4期 总148期
排版、插图来自公众号：MOOC（微信号：openonline）
有缘的人终会相聚，慕客君想了想，要是不分享出来，怕我们会擦肩而过~
《【调查问卷】“屏幕时代，视觉面积与学习效率的关系“——你看对了吗？》
本文编辑：慕编组成员（小端午）
相关内容
微信扫码咨询专知VIP会员