CSIG云上微表情第八期研讨会成功举办--微表情的近期发展

微表情是一种短暂的、微弱的、无意识的面部微表情，持续时间往往在0.5s内，能够揭示人类试图隐藏的真实情绪。 微表情识别的研究旨在让机器有足够的智能，能够从人脸视频序列中识别人类的真实情绪。 然而由于微表情持续时间短、面部肌肉运动强度低，对其进行准确的表征与识别是一项极具挑战性的任务。 为了促进心理学领域和计算机视觉领域针对微表情的进一步研究，由中国图象图形学学会（CSIG）主办、CSIG机器视觉专业委员会承办，中国科学院心理研究所的王甦菁博士组织了一系列云上微表情的学术活动。

第八期云上微表情于2020年11月13日晚8点进行，由中国科学院心理研究所王甦菁老师团队的李婧婷博士主持。此次讲座主要围绕深度学习方法在微表情识别与检测中的研究工作，由来自南京工程学院的黄晓华教授进行介绍。本次报告得到了微表情研究领域的广泛关注，期间有五十多位听众参加了此次讲座。

黄晓华教授的讲座主要分为三个部分，首先对自动化微表情分析和相关数据库进行了回顾，然后对黄教授团队关于微表情识别的相关工作进行了介绍，最后探讨了微表情研究面临的挑战和未来的发展。

1. 微表情研究的发展历史和相关数据库

在简要介绍微表情的定义之后，黄晓华教授提到由于人工裸眼研究微表情十分困难，同时微表情在很多领域具有潜在的应用价值，训练人工智能的方法很有必要。

接下来黄教授介绍了微表情数据库的发展历史，包括黄教授之前参与创建的SMIC数据库、以及目前主流的微表情数据库。

2.  微表情识别

在第二部分的介绍中，黄晓华教授将微表情识别的方法分为了两个部分：传统方法和基于深度学习的方法。

在传统方法的部分，黄教授首先介绍了在人脸和表情识别领域常见的特征Local Binary Pattern (LBP)、以及微表情研究中常见的时空特征提取方法。

其次，基于LBP的研究方法，为了创建一个更加灵活的特征解码方式，同时为了基于完全的LBP特征提取更多的信息，黄教授等人提出了完全局部量化特征（LQT），进而将其扩展到XT和YT空间，得到时空LQT特征，实现对微表情识别的性能提升。

再者，由于LBP-TOP提取的是图像的纹理特征，黄教授提出了利用投影积分的方法加入人脸几何信息，通过从纹理特征和动作特征两个层面进行特征提取，从而把LBP和几何信息结合在一起，获得更加全面的微表情特征，有助于进行微表情识别。

在结合深度学习方法的部分，由于基于视频的微表情识别研究受到样本数目少的限制，存在严重过拟合的情况，黄晓华教授及其团队探索了基于微表情峰值帧和结合深度学习的识别方法。首先通过在频域对微表情片段进行分析，得到该片段中微表情动作的峰值帧，在放大等预处理后，通过VGG-Face模型进行微表情的情感分类。

黄教授还介绍了在使用深度方法过程中存在的问题和相应的解决方法。

其次，黄晓华教授介绍了他们团队最新的工作：结合局部和全局信息学习的微表情识别方法。首先提出了基于3D频域的微表情峰值帧检测方法，提升了峰值帧检测的准确率。

然后，由于微表情是一个局部的脸部运动，不同的局部信息对微表情识别具有不均衡的影响。因此，黄教授等人提出了结合局部和全局信息的学习网络。

最后，黄晓华教授对第二部分中介绍的四种方法进行了概括总结。

3. 未来的工作和挑战

在讲座的最后，黄晓华教授展望了结合人工智能的微表情识别方法在未来的发展，从特征提取、分类器、以及微表情小样本问题等方面进行了分析。

在讨论环节，听众们踊跃发言，提出了很多非常有讨论意义的问题。讨论问题主要涉及到以下方面：

首先，李婧婷博士与黄晓华教授针对基于视频和基于峰值帧的微表情识别进行了进一步的探讨，并对峰值帧检测在长视频微表情定位的应用进行了讨论。此外，中国科学院心理研究所的王甦菁博士和黄教授探讨了宏观表情与微表情运动幅度的区别。

其次，黄晓华教授还对参会者提出的关于微表情小样本问题、微表情研究与AU研究的区别和相关性等问题进行了探讨。

在活动的最后，讲座的主持人李婧婷博士对活动进行了总结并对第九期CSIG云上微表情活动进行了预告。敬请继续关注！