CSIG云上微表情第十七期研讨会成功举办--交叉学科背景下基于人工智能的微表情分析

微表情是一种短暂的、微弱的、无意识的面部微表情，持续时间往往在0.5s内，能够揭示人类试图隐藏的真实情绪。微表情识别的研究旨在让机器有足够的智能，能够从人脸视频序列中识别人类的真实情绪。然而由于微表情持续时间短、面部肌肉运动强度低，对其进行准确的表征与识别是一项极具挑战性的任务。为了促进心理学领域和计算机视觉领域针对微表情的进一步研究，由中国图象图形学学会（CSIG）主办、CSIG机器视觉专业委员会承办，中国科学院心理研究所的王甦菁博士组织了一系列云上微表情的学术活动。

第十七期云上微表情于2021年7月02日晚上7点进行，由中国科学院心理研究所王甦菁老师团队的李婧婷博士主持。此次讲座邀请到来自江西中医药大学申寻兵博士和中国科学技术大学在读博士生赵思蕊，分别做了主题为“恐惧表情在欺骗检测中的应用”和“基于孪生3DCNN的微表情识别方法”的报告。此次讲座得到了微表情研究领域的广泛关注，期间有五十多位听众参加了此次讲座。

• 恐惧表情在欺骗检测中的应用 – 江西中医药大学申寻兵博士

微表情用于欺骗检测存在众多的争论，争论的一个焦点是微表情是否可以作为欺骗的有效线索。根据Ekman的泄露理论，欺骗时人们一般都会害怕欺骗被发现。而这种害怕在高度利益攸关的情境下会不受控制地泄露出来（即恐惧微表情），因此申博士等人预期通过分析恐惧表情（微表情或宏表情）可以揭露可能存在的欺骗。

首先，申博士从生态效度、个体差异和欺骗与否的事实三个方面，介绍了理想的微表情与欺骗关系分析材料的关系。

接下来，申博士播放了关于欺骗和诚实的真人游戏片段，让观众们判断录像中的游戏参与者是否在说谎。通过大家的参与，可以看出通过肉眼检测个体说谎与否的正确率大致是50%左右。

申博士等人采用计算机视觉技术，加上机器学习来进行分类，从而发现人工识别欺骗时可能会错过的细微的恐惧表情线索。他们用计算机视觉开源软件OpenFace分析了一个真人游戏电视节目“The moment of truth"中人物在说谎和说真话时的恐惧表情，将软件的输出用机器学习软件WEKA进行分类，并对输出数据进行了心理学的统计分析。

结果发现：利用恐惧表情的面部动作单元信息多种机器学习算法能达到80%以上分类正确率。

同时，他们也发现诚实和欺骗条件下人物表情动作单元AU20的持续时间有显著差异，欺骗条件下的表情持续时间显著短于诚实条件下的表情持续时间；进一步的分析表明之所以欺骗条件下持续时间短是因为从表情最大幅度到消失的时间更短。

另外，对诚实和欺骗条件下人物左右面部表情动作(眼周)的对称性进行分析发现欺骗条件下对称性显著差于诚实条件。

最后，申博士对报告进行了一个小结：欺骗和诚实条件下都会有微表情，但欺骗条件下的微表情更多；恐惧表情可以用来区分诚实和欺骗。并且，未来应当使用ground-truth更明确的材料，探索更多模态的生理信号以及语音信号。

• 基于孪生3DCNN的微表情识别方法 - 中国科学技术大学在读博士生赵思蕊

赵思蕊同学首先介绍了微表情的研究背景、微表情识别的相关工作，然后对他们提出的基于孪生3DCNN的微表情识别方法进行了具体的阐述，最后进行了总结和展望。

赵思蕊同学首先介绍了微表情的定义、潜在应用以及和宏表情的对比，然后通过具象的流程图展示了自动微表情识别的一般范式。

然后，赵思蕊同学列举了微表情识别现状，包括传统的手工特征提取方法以及基于深度学习的微表情识别方法。

另外，赵同学详细分析了微表情识别遇到的挑战，其中主要的限制就是微表情本身微弱、局部且短促的特性，以及微表情数据集的小样本问题和样本分布不均问题。

基于上述的微表情识别中的挑战，赵同学等人开始探索如何利用小样本微表情数据集训练一个能提取High-level时空微表情特征的深度卷积神经网络模型。受启发于婴儿通过对世界的观察和感知来理解世界，他们提出了两阶段的微表情特征学习策略，包括学习微表情一般特征的预先学习和微表情分类特征的目标学习。

在数据预处理的部分，基于微表情时序分析的必要性以及避免数据冗余等原因，赵同学采用了以峰值帧为中心的微表情关键帧序列表达。

峰值帧序列的生成过程包括了人脸裁剪、时空自适应的峰值帧序列生成以及对应的光流估计。

然后，赵同学等人设计了MERSiamC3D来进行时空微表情特征学习。在预先学习的阶段，通过“对比学习”训练模型获得提取一般微表情特征的能力。其中，相同的分类为来自同一个表情的两个样本，不同的分类为来自不同表情的样本。在预先学习的基础上，微调模型来获得high-level的微表情特征从而进行微表情的情绪分类。同时，为了解决微表情数据类别不均衡带来的模型退化问题，引入了Focal Loss。

为了验证所提方法的有效性，赵同学进行了三分类和五分类的识别实验。为了一定程度上避免小样本问题的限制，还增加了数据扩增的步骤。实验结果表明了孪生3DCNN网络识别性能的优越性。此外，多个消融实验全面地验证了预先学习、Focal Loss和自适应的关键帧序列生成对微表情识别的有效性。

在讨论环节，听众们踊跃发言，提出了很多非常有讨论意义的问题。其中，针对申老师的报告，听众对说谎以及诚实两种场景下动作单元显著性差异进行了进一步探讨，并对后续基于微表情的分析进行了展望；针对赵同学的报告，大家探讨了包括关键帧序列生成数目、高速摄像机对样本采集的影响、自监督学习与预先学习的区别等问题。

在活动的最后，讲座的主持人李婧婷博士对活动进行了总结并对第十八期CSIG云上微表情活动进行了大致预告。敬请继续关注！

另外，李博士还介绍了将由ACM Multimedia2021举办的微表情研讨会和挑战赛（FME2021， https://megc2021.github.io），挑战赛将分为两个任务，分别为长视频中微表情和宏观表情的检测、以及微表情生成。挑战赛的截稿日期为7月11日，研讨会的截稿日期为8月10日，欢迎大家投稿！

此外，王甦菁博士等人在Pattern Recognition Letters申请了主题为“Face-based Emotion Understanding”的专刊，欢迎大家关注。并且FME2021接收的文章将可能在增加至少30%新内容的基础上被该专刊收录。

此次讲座的回放已经发布在B站：https://www.bilibili.com/video/BV1xX4y1P7CT，欢迎观看！报告相关工作参考文献如下：

[1] Shen X, Fan G, Niu C, et al. Catching a liar through facial expression of fear[J]. Frontiers in Psychology, 2021, 12: 2211.

[2] Zhao S, Tao H, Zhang Y, et al. A two-stage 3D CNN based learning method for spontaneous micro-expression recognition[J]. Neurocomputing, 2021, 448: 276-289.

另外，中国科学院心理研究所微表情实验室（MELAB）诚聘博士后，微表情相关方向、计算机或心理学专业皆可，有意请联系王甦菁老师（wangsujing@psych.ac.cn）。