【动态】CSIG云上微表情第28期研讨会成功举办--第三代高生态效度的深度微表情数据库CAS(ME)^3

2022 年 6 月 8 日 中国图象图形学学会CSIG

微表情是一种短暂的、微弱的、无意识的面部微表情，持续时间往往在0.5s内，能够揭示人类试图隐藏的真实情绪。微表情识别的研究旨在让机器有足够的智能，能够从人脸视频序列中识别人类的真实情绪。然而由于微表情持续时间短、面部肌肉运动强度低，对其进行准确的表征与识别是一项极具挑战性的任务。为了促进心理学领域和计算机视觉领域针对微表情的进一步研究，由中国图象图形学学会（CSIG）和中国科学院心理研究所主办、CSIG机器视觉专业委员会和CSIG情感计算与理解专业委员会联合承办，中国科学院心理研究所的王甦菁博士组织了一系列云上微表情的学术活动。

第二十八期云上微表情于2022年5月31日晚进行，由中国科学院心理研究所王甦菁老师团队的东子朝同学主持。此次讲座邀请到来自中国科学院心理研究所微表情应用研究中心的李婧婷博士介绍发布TPAMI的最新工作，即第三代高生态效度的深度微表情数据库-CAS(ME)³。此次讲座得到了微表情研究领域的广泛关注，期间有八十余名听众参加了此次讲座。

作为重要的非语言交流线索，微表情可以揭示一个人的真实情绪状态。特别是随着深度学习方法在微表情分析领域的蓬勃发展，微表情分析的发展得到了关注。然而，心理学和人工智能的研究都受到了微表情小样本的限制。

基于上述挑战，李婧婷博士首先分别从微表情的诱发、采集和标注三个方面介绍了创建微表情数据库的挑战。

然后，根据从低到高的生态效度，李博士分别介绍了第一代模仿表情数据库，第二代基于“面无表情”诱发范式的自发微表情数据库和第三代的较高生态效度的微表情数据库。

接下来，李博士具体介绍了CAS(ME)³数据库情况。

首先，CAS(ME)³的亮点之一是数据库中的样本包含深度信息。引入深度信息这一模态的灵感来自于基于人类视觉感知的微表情识别心理学实验。受试者被要求观看2D和3D微表情视频，并回答关于视频的情绪价值、情绪类型和情绪强度的三个问题。被试在观看3D视频的情况下，反应时间更短，强度评分更高，这表明深度信息可以促进个体对微表情的识别。

由于深度信息的变化可以为微表情分析提供更丰富的运动信息，在王甦菁博士的带领下，中国科学院行为科学院重点实验室微表情应用研究中心建立了CAS(ME)³数据库，这是一个大规模、自发的微表情数据库，包含了样本的深度信息，并且具有高生态效度。该数据库有望引领下一代微表情分析的发展。特别地，数据规模对于基于人工智能的微表情分析至关重要。CAS(ME)³提供了约80小时的视频，超过800万帧，包括1109个人工标注的微表情和3490个宏观表情。CAS(ME)³的大样本量可以有效地进行微表情分析方法验证，同时避免数据库偏差。

CAS(ME)³数据库根据微表情的诱发范式和是否有标注，被分为三个部分：Part A（“面无表情”+有标签）、Part B（“面无表情”+无标签）和Part C（“模拟犯罪”+有标签）。李博士依次介绍了CAS(ME)³的这三个子集。

在Part A部分，李博士介绍了的微表情样本的采集环境和编码方式。特别是王甦菁博士创建的微表情编码与分享平台（Micro-expression coding and sharing system, MECSS），破除了微表情编码的时间空间和限制，为微表情编码提供了便捷。

此外，在算法层面，缓解微表情小样本问题的手段之一是无监督学习。作为无监督学习的一个研究方向，自监督学习已经成为一个热门话题。使用额外的深度信息或更多的微表情帧来生成标签并构建微表情分析的自监督学习模型是很自然的一种设想。CAS(ME)³-Part B提供了1,508个无标签的视频，超过4,000,000帧，搭建了基于无监督学习的微表情分析的数据平台。

CAS(ME)³的另一个亮点是它的高生态效度。在Part C中，李博士等人设计了模拟犯罪的诱发范式，使之微表情的诱发环境尽可能接近现实。并且，在数据采集的过程中，视频、语音和生理信号，包括皮肤电活动、心率/指尖脉搏、呼吸和脉搏，都由摄像机和可穿戴设备收集。实验表明，高风险场景（如犯罪）中的被试比低风险场景（如无罪）中的被试泄露更多的微表情。这种高生态效度的样本为现实世界中微表情分析和情绪理解提供了基础。

在完成对数据库的大致介绍之后，李博士等人介绍了他们基于CAS(ME)³的深度信息模态进行了微表情分析方法的工作，证明了在深度信息的帮助下，算法对微表情的连续变化更加敏感。

首先，李博士等人提出了基于深度信息的深度流特征，通过构建人脸深度张量，计算场景内体素的深度流信息。基于深度流的微表情检测的性能优于基于光流的检测，证明了深度流补充运动信息并提高微表情检测性能。

其次，微表情峰值帧的RGB三通道信息以及深度信息被用于微表情识别网络的输入。通过有无深度信息的识别结果对比，证明了深度信息作为一个额外的模式，增强了针对微表情识别的特征提取。

此外，李博士还介绍了基于相同算法、不同数据库之间的对比、以及基于Part C部分的多模态微表情识别分析。

在报告的最后，李博士总结了CAS(ME)³数据库的主要工作，探讨了心理学层面内隐学习和自监督学习的相似性。

李博士也介绍了CAS(ME)³数据库的下载方式，数据库网站为: http://casme.psych.ac.cn/casme/e4，数据库将于6月20日开放下载。并特别强调了研究人员应仅将数据库用于非商业研究和教育目的。

论文信息：

Li Jingting, Dong Zizhao, Lu Shaoyuan, Wang Su-Jing, Yan Wen-Jing, Ma Yinhuan, Liu Ye, Huang Changbing, Fu Xiaolan. CAS(ME)³: A Third Generation Facial Spontaneous Micro-Expression Database with Depth Information and High Ecological Validity [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 1-1. DOI: 10.1109/TPAMI.2022.3174895.

在问答环节，听众和讲者们就微表情样本的标注、多模态识别算法细节、微表情生成与识别的脑机制等问题进行了讨论。

在活动的最后，讲座的主持人东子朝同学对活动进行了总结并对第二十九期CSIG云上微表情活动进行了预告。敬请继续关注！

另外，主持人还介绍了将由ACM Multimedia 2022举办的微表情挑战赛和微表情研讨会。其中，挑战赛将分为两个任务，分别为长视频中微表情和宏观表情的检测挑战、以及微表情生成挑战。挑战赛和研讨会的相关细节将会在网站上陆续发布（https://megc2022.github.io），欢迎大家关注！