CSIG云上微表情第七期研讨会成功举办--基于深度学习方法的微表情识别与检测

微表情是一种短暂的、微弱的、无意识的面部微表情，持续时间往往在0.5s内，能够揭示人类试图隐藏的真实情绪。微表情识别的研究旨在让机器有足够的智能，能够从人脸视频序列中识别人类的真实情绪。然而由于微表情持续时间短、面部肌肉运动强度低，对其进行准确的表征与识别是一项极具挑战性的任务。为了促进心理学领域和计算机视觉领域针对微表情的进一步研究，由中国图象图形学学会（CSIG）主办、CSIG机器视觉专业委员会承办，中国科学院心理研究所的王甦菁博士组织了一系列云上微表情的学术活动。

第七期云上微表情于2020年10月30日晚7点进行，由中国科学院心理研究所王甦菁老师团队的李婧婷博士和西南大学电子信息工程学院的陈通教授共同主持。此次讲座主要围绕深度学习方法在微表情识别与检测中的研究工作，由来自中国科学院大学的彭敏、中国科学院心理研究所的张志豪和英国伦敦大学学院的王重阳三位博士研究生进行介绍。本次报告得到了微表情研究领域的广泛关注，期间有五十多位听众参加了此次讲座。

深度学习在微表情自动分析中被越来越多地应用。此次讲座内容包括基于深度学习的微表情视频时空特征提取与识别、微表情研究所面临视频样本少等实际问题的解决方案、结合微表情物理特征的稀疏时空信息表征方法、以及未来更多的研究方向与思路。

• 微表情视频与最大帧的识别

讲座的第一部分由来自中国科学院大学的彭敏博士研究生进行介绍，主题为视频与最大帧的识别。首先，彭敏介绍了基于微表情视频的识别 (video-based recognition)，即把微表情视频整段输入到网络进行端到端的分类学习。具体地，他们提出了一个基于三维卷积网络的双通道模型，能够在不同时间尺度下进行时空特征提取。方法结果验证了高阶特征例如光流特征等作为网络输入有助于提升微表情的识别性能，同时视频中帧之间的时序关系也有助于微表情的识别。

其次，彭敏介绍了基于最大帧的微表情识别（apex-frame-based recognition)方法，即利用人工标定的微表情序列最大帧，将基于视频的识别转移到基于单张图片的识别，以此利用大量宏表情图片进行迁移学习来解决微表情视频样本少而网络容易过拟合现象，以及利用图像研究领域的注意力机制进行针对性学习，进而取得更好的识别效果。

• 基于卷积网络和滑动窗口的微表情检测

讲座的第二部分由来自中国科学院心理研究所的张志豪博士研究生进行介绍，主题为基于卷积网络和滑动窗口的检测。具体地，根据微表情在时序上离散且稀疏分布的特点，采用深度学习模型进行微表情的自动检测及定位，以此降低对人工标定的依赖。方法的具体流程包括基于深度学习网络进行特征提取和基于滑动窗口进行特征比较。

• 基于最大帧和相邻帧融合的微表情识别

讲座的第三部分由来自英国伦敦大学学院的王重阳博士研究生进行介绍，主题为基于最大帧及相关帧时空信息的融合识别。基于前一阶段的研究，他们发现了最大帧周围的时空信息对于微表情跨数据库识别的重要性，提出了一个端到端的最大帧与时序融合模型。

在讨论环节，听众们踊跃发言，提出了很多非常有讨论意义的问题。讨论问题主要涉及到以下方面：

首先，来自江西中医药大学的申寻兵博士、陈通教授和三位博士研究生从计算机视觉领域和心理学的领域，对微表情的人工主观标注和计算机客观检测识别的差异与融合进行了讨论。

其次，来自中国科学院心理研究所的王甦菁博士提出了由于微表情数据库样本量少，深度学习网络的训练往往存在过拟合的问题，参会人员就此也展开了探讨，并提到了跨数据库方法验证的必要性。

此外，参会者还就介绍方法中的一些技术细节展开了讨论。

在活动的最后，讲座的主持人李婧婷博士对活动进行了总结并对第八期CSIG云上微表情活动进行了预告。敬请继续关注！

此外，本次讲座的视频回放已经在https://www.bilibili.com/video/BV1At4y1e7ck/发布，欢迎观看！