CSIG云上微表情第十九期研讨会成功举办--基于视频的面部微表情分析研究进展：挑战、现状与展望

微表情是一种短暂的、微弱的、无意识的面部微表情，持续时间往往在0.5s内，能够揭示人类试图隐藏的真实情绪。微表情识别的研究旨在让机器有足够的智能，能够从人脸视频序列中识别人类的真实情绪。然而由于微表情持续时间短、面部肌肉运动强度低，对其进行准确的表征与识别是一项极具挑战性的任务。为了促进心理学领域和计算机视觉领域针对微表情的进一步研究，由中国图象图形学学会（CSIG）主办、CSIG机器视觉专业委员会承办，中国科学院心理研究所的王甦菁博士组织了一系列云上微表情的学术活动。

第十九期云上微表情于2021年8月16日晚上7点进行，由中国科学院心理研究所王甦菁老师团队的李婧婷博士主持。此次讲座有幸邀请到来自清华大学的刘永进教授，做了主题为“基于视频的面部微表情分析研究进展--挑战、现状与展望”的报告。此次讲座得到了微表情研究领域的广泛关注，期间有七十多位听众参加了此次讲座。

讲座内容主要包括微表情研究的背景和意义、神经生理基础、挑战、研究现状和进展、以及未来可能的研究方向展望这四个部分。

刘教授主要基于他作为通讯作者发表在IEEE Transactions on Pattern Analysis and Machine Intelligence上的《Video-based Facial Micro-Expression Analysis: A Survey of Datasets, Features and Algorithms》、他们团队在微表情识别与检测算法的相关文章以及和中国科学院心理研究所的合作成果进行介绍，并对未来的工作进行了展望。

• 研究意义

刘教授首先介绍：面部表情是通过肌肉的运动变化来表达我们大脑当中的情感，是面部运动的一种状态。对表情的研究之所以受到大家的广泛关注，是因为表情是人类信息交流和情感传递的一个重要的手段。微表情和宏表情相比，还是一个相较不太明朗的研究领域。刘教授通过介绍微表情研究的发展历程，体现了微表情的研究意义和应用价值。

其中，刘教授重点提到了下一代人工智能十分强调因果分析，并提出在做算法研究和应用研究之前，需要努力探索其意义和机理。由此，刘教授在接下来的部分介绍了微表情的生理基础。

• 神经生理基础

对于微表情来讲，相关的分析研究不仅包括计算机学科，也包括神经科学和心理科学，是一个交叉的学科。并且目前的研究非常需要神经生理这方面的突破，从而引领计算机学科算法的发展。

个体在控制面部肌肉做出表情的存在如下图所示的神经通路，包括一个自发的不受控制的通路和一个由个体主动去控制的通路。微表情的诱发需要一个高风险的场景，这个场景可以引发被试强烈的情绪反应，但是被试需要努力控制住表情，从而不流露出情绪。在这种高风险的场景下，两种通路在互相冲突，个体一方面会无意识地呈现出表情，另外一方面个体会控制自己不表现出相应表情。在这种特定的条件下，双方在博弈时，无意识表现占据上风的情况下，最后会泄露出来一些微弱的表情。这种微表情的表达方式对其后续的实际应用非常有价值。

进而，刘教授通过比较宏表情和微表情的特性，体现了微表情特征难以提取的特点，进而提出了基于视频的微表情数据的重要性。

• 挑战、研究现状和进展

在这一部分，刘教授首先针对微表情提出了目前面临的三大挑战：缺乏数据库、微表情检测任务难、微表情识别任务难。微表情的分析任务和宏表情相关，但是是一个有特定难度的研究领域。

数据库

数据库是算法研究的基础。刘教授根据微表情数据库的诱发范式，对微表情数据样本和数据库构建进行了详细的介绍。其中，经过专业心理学设计的“面无表情”范式和真实场景高风险游戏的采集方式都有助于微表情的分析。此外，“面无表情”范式，例如由中国科学院心理研究所设计的微表情诱发范式，可以获得样本类型分布良好的微表情数据。

在系统地介绍了目前发布的自发微表情数据库之后，刘教授也针对不同分表情分析任务进行了数据库推荐：对于微表情检测任务，推荐CAS(ME)²数据库；针对微表情识别任务，推荐SAMM和CASME II数据库。此外，刘教授还介绍了他们文章中新发布的数据库：Micro-and-macro expression warehouse (MMEW)。

然后，刘教授罗列了微表情分析研究进展中重要的微表情特征。

并着重介绍了他们团队提出了主方向光流平均特征（MDMO）和稀疏MDMO特征。

检测

微表情检测的部分，刘教授首先区分了微表情“detection”和“spotting”的定义，即“spotting”除了检测视频中是否存在微表情，还需要确定微表情发生的时刻。此外，刘教授还展示了主要的微表情检测方法。

识别

在微表情识别的部分，刘教授在介绍了主要的识别算法模型以后，还对已有方法从微表情检测、预处理、基于传统机器学习的微表情识别三个方面进行比较，证明了MDMO特征的优越性。

• 未来可能的研究方向

在报告的最后部分，刘老师对微表情研究，特别是微表情分析的神经基础、微表情检测刚刚起步、微表情识别度衡量需要统一等问题进行了展望。

此外，刘教授还提出了未来可能的研究方向，包括隐私保护的微表情分析、宏表情分析在微表情研究上的应用、数据库标准化、数据扩增、基于GAN的样本生成、多任务学习、可解释的微表情分析等。

在讨论环节，听众们踊跃发言，提出了很多非常有讨论意义的问题，例如探讨了微表情与脑电信号的结合分析、微表情识别与检测的衡量标准的统一，微表情图像的分辨率是否限制了微表情分析的发展等问题。作为审稿人，刘教授更希望看到哪方面的研究工作。

在活动的最后，讲座的主持人李婧婷博士对活动进行了总结并对第二十期CSIG云上微表情活动进行了预告，将由来自中国科学院心理研究所的东子朝带来主题为“表情标注：从大脑到人脸”的报告。敬请继续关注！

此次讲座的回放已经发布在B站：

https://www.bilibili.com/video/BV1v64y1q7Ao，欢迎观看！

此外，王甦菁博士等人在Pattern Recognition Letters申请了主题为“Face-based Emotion Understanding”的专刊，欢迎大家关注。

另外，中国科学院心理研究所微表情实验室（MELAB）诚聘博士后，微表情相关方向、计算机或心理学专业皆可，有意请联系王甦菁老师（wangsujing@psych.ac.cn）。