CSIG云上微表情第十六期研讨会成功举办--基于局部二阶梯度模式的微表情识别

2021 年 6 月 2 日 CSIG机器视觉专委会

微表情是一种短暂的、微弱的、无意识的面部微表情，持续时间往往在0.5s内，能够揭示人类试图隐藏的真实情绪。微表情识别的研究旨在让机器有足够的智能，能够从人脸视频序列中识别人类的真实情绪。然而由于微表情持续时间短、面部肌肉运动强度低，对其进行准确的表征与识别是一项极具挑战性的任务。为了促进心理学领域和计算机视觉领域针对微表情的进一步研究，由中国图象图形学学会（CSIG）主办、CSIG机器视觉专业委员会承办，中国科学院心理研究所的王甦菁博士组织了一系列云上微表情的学术活动。

第十六期云上微表情于2021年5月31日晚上7点进行，由中国科学院心理研究所王甦菁老师团队的李婧婷博士主持。此次讲座邀请到来自中国科学院自动化研究所陶建华研究员团队的牛明月博士来介绍他们团队基于局部二阶梯度模式的微表情识别以及抑郁检测的相关工作。报告得到了微表情研究领域的广泛关注，期间有四十多位听众参加了此次讲座。

在讲座的开始，牛明月博士首先简要介绍了微表情的研究背景和研究意义，并且阐述了从微表情到抑郁检测的研究思路，将微表情的相关研究延伸到实际应用。然后牛博士介绍了他们团队基于二阶梯度模式的微表情识别工作和自动抑郁检测的研究。

基于局部二阶梯度模式的微表情识别

首先，基于微表情分析中常用的局部二值模式（Local Binary Pattern, LBP）特征，牛博士说明LBP作为一阶梯度，很难捕捉人脸的细节纹理特征。针对这点不足，牛博士提出利用高阶梯度捕捉更多细节信息。在具体的处理过程中，由于微表情峰值帧具有较为明显的变化特征，因此使用该帧以及其前后各两帧（共5帧）用于微表情特征提取，每帧进行8*8的网格划分，提取局部二阶梯度，将这五帧的特征拼接从而得到针对当前微表情样本的特征，进而用于微表情分类。结果显示他们提出的LSOGCP模式很好地捕捉了脸部的局部细节信息。

基于局部二阶梯度模式和秩池化的微表情识别

接下来，牛明月博士针对上述方法的两个不足，即时序信息提取不充分和未选取有用特征，进行了改进。

首先，牛博士对微表情视频片段进行归一化，得到70帧/视频的样本集。针对单个视频中的每一帧，都提取其局部区域的二阶梯度。较之前方法，该过程采用更粗的网格（2*2），然后进行特征拼接。

其次，牛博士在详细解释了秩池化的计算规则后，利用秩池化来编码视频中所有帧的时间顺序，从而捕获面部在不同时刻的动态变化。

然后，牛博士介绍了特征选择的过程。该过程的目的是为了通过数据优化，提取真实发生在局部面部区域的面部微表情。由于L1范数比较难优化，而L2范数在优化过程中会出现空洞效应，因此牛博士选择了结合了两者优势的L21范数，使得优化得到的特征有很好的一致性。在排序以后，选择前N个作为与微表情相关的特征。

在该方法的最后，牛博士通过实验结果证明了二阶梯度模式补充了细节纹理特征。此外，秩池化一方面体现了帧水平特征的时序特征关系，另一方面筛选出来更有助于微表情识别的特征。

基于面部细节表示的自动抑郁检测方法

在报告的最后部分，牛明月博士介绍了他们团队基于抑郁检测的工作。首先牛博士简要说明了常用于抑郁检测的数据库AVEC2013和AVEC2014、抑郁检测量表-贝克分数、以及较为通用的基于均方误差和平均误差的评价指标。

然后，牛博士具体介绍了他们提出的基于面部细节的自动抑郁检测方法，方法框架如下图所示。

在面部特征提取的部分，提取了高阶梯度特征，并且对正交方向上的梯度进行编码。同时，为了获取视频片段的时序信息，基于三正交平面动态描述框架，进行三个类型框格的计算，最后通过PCA得到最终视频特征。粒度不同的选择是因为，粒度大的全局性比较强，而粒度小的关注局部动态变化，两者的结合可以很好地提取视频信息。

在结果预测方面，牛博士发现不同抑郁程度个体的特征和贝克分数之间的映射关系并不完全相同。因此，使用组间分类、组内回归的方法有助于提升检测精度。

在后续的结果分析中，牛博士也展示了高阶梯度可以提升抑郁检测的精度，交叉编码会对于保持人脸面部结构信息有帮助，因此可以进一步改善性能。同时，实验结果也证明了组间分类、组内回归的方法的有效性。

在讨论环节，听众们踊跃发言，提出了很多非常有讨论意义的问题，其中包括局部二阶梯度交叉模式在微表情上的方法验证、抑郁检测相关样本的时序预处理等问题。

在活动的最后，讲座的主持人李婧婷博士对活动进行了总结并对第十七期CSIG云上微表情活动进行了大致预告。敬请继续关注！

另外，李博士还介绍了将由ACM Multimedia2021举办的微表情研讨会和挑战赛，挑战赛将分为两个任务，分别为长视频中微表情和宏观表情的检测、以及微表情生成。挑战赛的相关细节已经在网站上（https://megc2021.github.io）发布，欢迎大家关注。

此次讲座的回放已经发布在B站：https://www.bilibili.com/video/bv1My4y137Uw，欢迎观看！牛明月博士分享的微表情相关工作参考文献如下：

[1] Niu M, Tao J, Li Y, et al. Discriminative video representation with temporal order for micro-expression recognition[C]//ICASSP 2019-2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). IEEE, 2019: 2112-2116.

[2] Niu M, Li Y, Tao J, et al. Micro-expression recognition based on local two-order gradient pattern[C]//2018 First Asian Conference on Affective Computing and Intelligent Interaction (ACII Asia). IEEE, 2018: 1-6.

预祝大家端午安康！

登录查看更多