CSIG云上微表情第27期研讨会成功举办--微表情智能检测与识别-期刊论文速览

2022 年 5 月 10 日 CSIG机器视觉专委会

微表情是一种短暂的、微弱的、无意识的面部微表情，持续时间往往在0.5s内，能够揭示人类试图隐藏的真实情绪。微表情识别的研究旨在让机器有足够的智能，能够从人脸视频序列中识别人类的真实情绪。然而由于微表情持续时间短、面部肌肉运动强度低，对其进行准确的表征与识别是一项极具挑战性的任务。为了促进心理学领域和计算机视觉领域针对微表情的进一步研究，由中国图象图形学学会（CSIG）和中国科学院心理研究所主办、CSIG机器视觉专业委员会和CSIG情感计算与理解专业委员会联合承办，中国科学院心理研究所的王甦菁博士组织了一系列云上微表情的学术活动。

第二十七期云上微表情于2022年4月29日晚上7点进行，由中国科学院心理研究所王甦菁老师团队的李婧婷博士主持。此次讲座的主题是微表情智能检测与识别-期刊论文速览，邀请到来自山东大学的博士生周莹和南京邮电大学的博士生魏金生来作报告。此次讲座得到了微表情研究领域的广泛关注，期间有四十余名听众参加了此次讲座。

微表情检测 - 山东大学的博士生周莹

周莹同学是山东大学信息科学与工程学院数据智能实验室的博士生，主要研究兴趣是微表情检测和识别，导师为贲晛烨教授。此次报告主要介绍了在2022在Image and Vision Computing上发表的工作，A novel micro-expression detection algorithm based on BERT and 3DCNN [1]。

在报告的开始，周莹同学首先介绍了微表情检测的研究背景和意义。特别地，微表情检测是判断视频序列中是否存在微表情，即判断起始帧和终止帧的过程；而微表情识别是进行情绪分类的过程。

在介绍了SOTA方法后，周同学报告了她们提出的微表情检测方法，即一种基于BERT和3DCNN网络的微表情检测方法，该方法由候选片段生成模块、时空特征提取模块和分组模块组成。

具体来说，首先，候选段生成模块生成候选片段；

然后，为了提取更细致的特征，时空特征提取模块将每个候选片段划分为更小的时隙，其中时空特征通过BERT和3DCNN网络提取；

最后，为了更准确地定位微表情的起始帧和结束帧的位置，分组模块对候选片段进行分组合并和抑制冗余。

在实验分析的部分，周同学等人通过ROC曲线来判断方法的性能，并计算ROC曲线下的面积（AUC）来评估方法性能。实验内容包括：参数敏感性讨论、消融实验和对比实验，证明了时空特征提取模块和分组模块的有效性和所提方法的优越性。

最后，报告还介绍了实验室的最新工作Video-based Facial Micro-Expression Analysis: A Survey of Datasets, Features and Algorithms [2]，欢迎联系邮箱：benxianyeye@163.com，申请MMEW微表情数据库。

参考文献：

[1] Zhou, Y., Song, Y., Chen, L., Chen, Y., Ben, X., & Cao, Y. (2022). A novel micro-expression detection algorithm based on BERT and 3DCNN. Image and Vision Computing, 119, 104378.

[2] Ben, X., Ren, Y., Zhang, J., Wang, S. J., Kpalma, K., Meng, W., & Liu, Y. J. (2021). Video-based facial micro-expression analysis: A survey of datasets, features and algorithms. IEEE Transactions on Pattern Analysis and Machine Intelligence.

微表情识别 - 南京邮电大学的博士生魏金生

魏金生同学是南京邮电大学通信与信息工程学院博士生，导师卢官明教授。本人研究方向为微表情识别，研究兴趣聚焦于微表情中面部运动特征的紧凑性表达，提高微表情识别的效率和性能。

此次魏同学的报告包含了他博士期间的两个工作，第一个工作发表在Neurocomputing上：“Learning two groups of discriminative features for micro-expression recognition” [3]；第二个工作“Geometric Graph Representation with Learnable Graph Structure and Adaptive Aus Constraint for Micro-Expresion Recognition”目前正在审稿中（已在ArXiv发布）[4]。

首先，魏同学根据目前微表情的局部特性提出了两种解决方案，如下所示：

微表情识别 – 特征选择算法

在魏同学的第一个工作中，他从两组运动特征中选择对微表情识别具有可判别性的子特征，并考虑到两组特征的相关性，避免了模型对其中一组特征的偏见，不仅改善了性能，而且还移除了冗余及干扰信息，得到更加紧凑的特征表达。

具体来讲，魏同学等人提出了核化的双组群稀疏学习模型KTGSL从两组不同的特征中学习并选择更具可鉴别性的特征，该模型学习同时处理两组特征，为两组特征学习两组能够代表其贡献的权重，KTGSL能够在融合前移除冗余及误导信息，且可以考虑两组特征之间的相关性，被选择的特征更加紧凑且更具鉴别性。

根据两组特征的先验信息，魏同学等人设计了两种类型的KTGSL。具体地，类型A：两组权重给予不同的惩罚系数去平衡两组特征的差异以及由此导致的模型对某一组特征的偏见；类型B：仅一组特征的权重被更新学习，另外一组权重保持为1，对应的子特征全部保留。

实验结果证明，将KTGSL用于之前工作中的LBP-TOP和HSDG，替代之前工作中手动通过轮流测试的方式确定单个最优HSDG的弊端，大大降低了时间和计算代价，消除了LBP-TOP和单个HSDG的机械化拼接，学习并选择出更加紧凑且更具鉴别性的移动特征。

微表情识别 – 紧凑的模型输入

在魏同学的另外一个工作中，他们代替使用原始RGB图像作为模型输入，使用更加紧凑的面部landmarks作为图模型的输入，证明了面部landmarks对于微表情识别的可判别性，在保证性能的同时，极大地降低了时间和计算代价。

首先，魏同学等人探索了人脸标定点对微表情识别的贡献，仅使用人脸标定点作为图模型的输入去识别微表情。其次，魏同学等人构建了几何运动图GM-Graph，并设计了分离结构 (SS）模块去整合GM-Graph中的空间特征信息和时间特征信息。另外，基于SS模块，他们搭建了一个新的图模型——几何双流图网络（GTS-GN）去整合人脸标定点中的低阶和高阶的几何运动信息。此外，为了克服固定邻接矩阵的缺陷，魏同学等人使用了可学习邻接矩阵LAM学习更加合理和灵活的节点关系。

最后，基于AU、人脸标定点和微表情之间的强相关性，提出了自适应AU损失函数去约束模型中多尺度的特征，并且引入自动学习策略，以强调不同语义水平的贡献，探索一个更加合理的方式引入AU信息。

在实验部分，魏同学等人进行了人脸标定点有效性的研究、SS模块和GTS-GN的评估、LAM的评估、AAU损失函数的评估和可视化、参数评估、与其他方法的对比，证明了所提方法的有效性。

参考文献：

[3] Wei, J., Lu, G., Yan, J., & Zong, Y. (2022). Learning Two Groups of Discriminative Features for Micro-expression Recognition. Neurocomputing.

[4] Wei, J., Peng, W., Lu, G., Li, Y., Yan, J., & Zhao, G. (2022). Geometric Graph Representation with Learnable Graph Structure and Adaptive AU Constraint for Micro-Expression Recognition. arXiv preprint arXiv:2205.00380.

在问答环节，听众和讲者们就微表情检测的预处理、微表情识别的特征选择、以及算法细节等问题进行了讨论。

在活动的最后，讲座的主持人李婧婷博士对活动进行了总结并对第二十八期CSIG云上微表情活动进行了预告。敬请继续关注！

另外，李博士还介绍了将由ACM Multimedia2022举办的微表情挑战赛和微表情研讨会。其中，挑战赛将分为两个任务，分别为长视频中微表情和宏观表情的检测挑战、以及微表情生成挑战。挑战赛和研讨会的相关细节将会在网站上（https://megc2022.github.io）陆续发布，欢迎大家关注！