CSIG云上微表情第十四期研讨会成功举办--基于深度学习的微表情自动识别

2021 年 4 月 2 日 CSIG机器视觉专委会

微表情是一种短暂的、微弱的、无意识的面部微表情，持续时间往往在0.5s内，能够揭示人类试图隐藏的真实情绪。微表情识别的研究旨在让机器有足够的智能，能够从人脸视频序列中识别人类的真实情绪。然而由于微表情持续时间短、面部肌肉运动强度低，对其进行准确的表征与识别是一项极具挑战性的任务。为了促进心理学领域和计算机视觉领域针对微表情的进一步研究，由中国图象图形学学会（CSIG）主办、CSIG机器视觉专业委员会承办，中国科学院心理研究所的王甦菁博士组织了一系列云上微表情的学术活动。

第十四期云上微表情于2021年3月31日晚上7点进行，由中国科学院心理研究所王甦菁老师团队的李婧婷博士主持。此次讲座邀请到来自江苏大学智能媒体计算实验室毛启容教授团队的博士生周玲来汇报他们团队于2018年以来在基于深度学习的微表情自动识别上的研究方法，并分享她本人博士期间在微表情识别上的科研体会。报告得到了微表情研究领域的广泛关注，期间有五十多位听众参加了此次讲座。

此次讲座主要分为两个部分，周玲博士首先简要概述了微表情识别的研究现状，然后详细介绍了他们团队基于深度学习的微表情识别研究工作。

1. 微表情发展现状

周玲博士首先通过宏表情和微表情的对比介绍了微表情的特点、研究背景、潜在应用以及研究难点。

然后周博士介绍了微表情分析以及识别的流程，包括主要的预处理方法、常用手工提取特征和深度学习方法。

此外，周博士还详细介绍了微表情识别的不同分类方法，并且推荐刚开始进行微表情识别工作的研究人员参照第一届和第二届微表情挑战赛（MEGC2018和MEGC2019）的分类标准进行方法比较。

2. 基于深度学习的微表情自动识别

周博士接着展示了他们团队基于微表情识别的主要研究工作总览。

（1）基于风格迁移与注意力转移机制的微表情识别方法

首先，受启发于风格迁移和生成对抗网络，为了缩小不同数据库间的差异，周博士提出了基于风格迁移与注意力转移机制的微表情识别方法。研究者选择宏表情数据库BU-3DFE作为基础库，基于MEGC2018挑战赛选择CASMEII和SAMM数据库作为测试集。所提模型基于图像进行特征提取，即通过计算在视频中选择峰值帧。方法的主要模块是注意力转移机制，利用ResNet训练教师分类器，从而使得学生模型学会如何从面部提取特征。

（2）基于双路Inception的微表情识别方法

在进一步分析基于风格迁移微表情识别方法的过程中，周博士介绍了该方法有待改进的地方：峰值帧计算量大、风格迁移开销大以及方法依赖宏表情分类结果，由此提出了可以减少帧检测计算量、弱化域差异和缓解过拟合的基于双路Inception的微表情识别方法。

下图展示了基于双路Inception的微表情识别方法模型。首先由于大部分微表情的峰值帧处于微表情片段的中段，因此周博士选择了中间帧用于光流特征提取。然后，在InceptionV1的模块，利用了1

1的卷积层来简化模型参数，并且通过不同维度的感受野从而增强特征学习的性能。基于该方法的识别结果优于MEGC2018微表情识别挑战赛的基线结果。

（3）基于情感特定特征学习的微表情识别方法

为了捕捉微表情相关面部区域以及拉大类间距离，周博士提出了基于情感特定特征学习的微表情识别方法，引入了注意力机制和特定情感检测损失。

相关方法主要包括共享情感特征、特定特征学习和最终的决策模型。该方法的重点在于特定特征学习的过程，即利用了基于向量级的注意力模块，和表情相关的向量获得更大的权值，并通过Detector得到基于特定情绪的特征。通过特征分布图可以看出，注意力模型的引入缩小了类内差异，增大了类间差异。

此外，周博士还详细分析了大量的实验结果，包括消融实验、合并数据库识别、跨数据库识别、单数据库识别等。

（4）基于面部运动单元检测及其关系推理的微表情识别方法

由于上述方法主要通过人脸全局提取微表情的有效信息，周博士考虑结合人脸动作单元（Action Units, AUs）来提取局部特征，在通过全局融合后进行微表情识别，由此提出了基于面部运动单元检测及其关系推理的微表情识别方法。

下图为该方法的主要流程。首先由于Sigmoid中向量不会互相抑制，因此采用它来进行AU特征学习。其次，该方法的分类采用了基于AU组合的主观分类法，因此两个数据库（CASMEII和SAMM）中存在的AU被利用构建AU图卷积网络。此外，周博士还采用了数据增强的方法增强模型性能，微表情识别性能有了显著提升。