CSIG云上微表情第十八期研讨会成功举办--结合深度学习的微表情检测方法

微表情是一种短暂的、微弱的、无意识的面部微表情，持续时间往往在0.5s内，能够揭示人类试图隐藏的真实情绪。微表情识别的研究旨在让机器有足够的智能，能够从人脸视频序列中识别人类的真实情绪。然而由于微表情持续时间短、面部肌肉运动强度低，对其进行准确的表征与识别是一项极具挑战性的任务。为了促进心理学领域和计算机视觉领域针对微表情的进一步研究，由中国图象图形学学会（CSIG）主办、CSIG机器视觉专业委员会承办，中国科学院心理研究所的王甦菁博士组织了一系列云上微表情的学术活动。

第十八期云上微表情于2 021 年 7 月 30 日晚上 8 点进行，由中国科学院心理研究所王甦菁老师团队的李婧婷博士主持。 此次讲座的主题为结合深度学习的微表情检测方法，有幸邀请到了来自赫瑞 -瓦特大学 （马来西亚校区） 的副教授John See博士 和英国曼彻斯特城市大学的博士研究生 Chuin Hong Yap以及他的导师之一Ryan Cunningham博士 ，分别对他们的研究方法进行了介绍。 此次讲座得到了微表情研究领域的广泛关注，期间有五十多位听众参加了此次讲座。

• Shallow optical flow three-stream CNN for macro- and micro-expression spotting from long videos – Heriot-Watt University (Malaysia Campus), Dr. John See

John See博士的报告主要包括五个部分：简介、研究动机、相关工作、所提方法以及结果和讨论。

首先，John通过视频样本生动地展示了宏表情和微表情的区别和各自的特点，并介绍了微表情在公安审讯、商业谈判、心理治疗和国家安全等领域的应用前景。然后，通过一个流程图，John呈现了微表情检测的两种流派：即基于窗口和基于峰值帧的微表情检测。随后，John进一步扩展到了宏表情与微表情的检测，介绍了这项任务的挑战。

然后，John介绍了他们开展在长视频中同时检测宏表情和微表情研究工作的动机，分别是：1）相对于识别，目前基于检测的工作还相对较少；2）微表情的标注仍依赖于受过专业训练的专家；3）真实场景应用的成功很大程度依赖于检测的性能。

在相关工作的部分，John根据常见的方法流程，从预处理（人脸特征点检测+眼部遮挡+兴趣区域的选择）、到基于区间的微表情检测（主要介绍了基于外表的特征提取）和基于峰值帧的微表情检测（主要介绍了基于动作-光流的特征提取）。并且对两个同时包含微表情和宏表情的长视频数据库：CAS(ME)²和SAMM-LV进行了简要介绍。

接下来，在介绍所提工作的开始，John首先展示了方法的主要流程，如下图所示。

在特征提取的阶段，计算光流和其对应的光应变（optical strain），将水平、垂直方向的光流特征和光应变通过channel-wise的方式进行组合。

然后，在特征预处理的阶段，通过与人脸最固定的区域-鼻子进行比较去除脸部的全局运动；并对眼睛进行遮挡，去除眨眼带来的影响；选择和微表情相关的兴趣区域。在通过图像重采样和特征分离，得到最终输入到网络的特征。

之后，将处理后的特征输入到一个浅层的神经网络，最后的输出层为一个回归输出，预测该输入帧为表情的概率。宏表情和微表情的网络是分别训练的。

接下来，John主要介绍了一个假标注（Pseudo-labeling）的操作。由于微表情的标注一般包括起始帧、峰值帧和终止帧，John认为微表情在起始帧这一刻不是突然开始的，通过Pseudo-labeling，对起始帧的前几帧进行一个重叠区域的判别，扩充微表情区间的标注。

在微表情检测的部分，通过比较特定区间内帧之间的预测分数，并且在滤波之后，设定阈值，得到最终的检测结果。

实验结果表明John等人所提结果的有效性。此外，由于目前主要的基于区间的微表情检测方法是通过0.5的重叠率（IOU）来判定检测结果是否为TP，John提出使用新的AP指标，IOU从0.5变化到0.95，可以进一步增强微表情检测结果评估的可靠性。此外，John还展示了消融实验结果，证实了眉毛和嘴角与表情变化的强相关性。

在报告的最后，John提出了他对于微表情检测的一些见解和思考，包括针对宏表情和微表情的单个模型的研究、跨数据库研究的必要性、更合理的微表情检测衡量指标的探索、以及未来与识别等应用的结合等。

• 3D-CNN for Facial Micro- and Macro-expression Spotting on Long Video Sequences using Temporal Oriented Reference Frame-Manchester Metropolitan University, PhD Candidate, Chuin Hong Yap

Chuin Hong首先介绍了微表情和宏表情的定义以及区别。然后，他基于目前的研究现状指出了存在问题：检测过程需要大量的预处理和后处理过程；常用的光流特征耗费大量的算力，但是对光线变化和偏移非常敏感；缺乏基于时序的区分宏表情和微表情的方法。

然后，Chuin Hong对其所提方法进行了介绍。在预处理的阶段，采用了局部对比度归一化（Local Contrast Normalization）。

在得到预处理的视频片段以后，较长的宏表情视频片段和较短的微表情片段被分别输入到3DCNN网络进行训练。

在简要介绍了使用的CAS(ME)²和SAMM-LV数据库以后，Chuin Hong对两个数据库中表情帧和中性帧的数目（move-to-neutral Ratio）进行了比较。因为常用的微表情检测的验证方式为：leave-one-subject-out，每个个体子集中的move-to-neutral比例不同，会对网络的训练和检测带来不同的影响。

在结果评估的部分，Chuin Hong介绍了目前几届微表情检测挑战赛常用的通过IOU来确定TP的评估方法，并且其初期的实验结果被作为ACM Multimedia-FME2021微表情挑战赛检测任务的基线结果。在实验中，Chuin Hong还对常见的固定k长度区间和手工选择连续帧两种方法进行了比较。

在讨论环节，听众们踊跃发言，提出了很多非常有讨论意义的问题。其中，针对John See博士的报告，听众对训练样本的时间长度、假标注等操作进行了详细的讨论，并对后续半自动化微表情标注进行了展望；针对Chuin Hong Yap同学的报告，大家探讨了手工连续帧选择对检测结果的影响、以及研究表情帧和中性帧的比率对后续跨数据研究的帮助等问题。

在活动的最后，讲座的主持人李婧婷博士对活动进行了总结并对第十九期CSIG云上微表情活动进行了预告，将由来自中国科学院心理研究所的东子朝带来主题为“表情标注：从大脑到人脸”的报告。敬请继续关注！

另外，李博士还介绍了将由ACM Multimedia2021举办的微表情研讨会（FME2021， https://megc2021.github.io），研讨会的截稿日期为8月10日，欢迎大家投稿！

此外，王甦菁博士等人在Pattern Recognition Letters申请了主题为“Face-based Emotion Understanding”的专刊，欢迎大家关注。并且FME2021接收的文章将可能在增加至少30%新内容的基础上被该专刊收录。

此次讲座的回放已经发布在B站：https://www.bilibili.com/video/BV1tP4y1x7js?p=2，欢迎观看！此次报告相关工作参考文献如下：

[1] Liong, G. B., See, J., & Wong, L. K. (2021). Shallow Optical Flow Three-Stream CNN for Macro-and Micro-Expression Spotting from Long Videos. arXiv preprint arXiv:2106.06489.

[2] Yap, C.H., Yap, M.H., Davison, A.K., Cunningham, R. (2021), Efficient Lightweight 3D-CNN using Frame Skipping and Contrast Enhancement for Facial Macro- and Micro-expression Spotting. arXiv:2105.06340 [cs.CV].

另外，中国科学院心理研究所微表情实验室（MELAB）诚聘博士后，微表情相关方向、计算机或心理学专业皆可，有意请联系王甦菁老师（wangsujing@psych.ac.cn）。