CSIG云上微表情第二十期研讨会成功举办--基于脑电的情感计算研究

微表情是一种短暂的、微弱的、无意识的面部微表情，持续时间往往在0.5s内，能够揭示人类试图隐藏的真实情绪。微表情识别的研究旨在让机器有足够的智能，能够从人脸视频序列中识别人类的真实情绪。然而由于微表情持续时间短、面部肌肉运动强度低，对其进行准确的表征与识别是一项极具挑战性的任务。为了促进心理学领域和计算机视觉领域针对微表情的进一步研究，由中国图象图形学学会（CSIG）主办、CSIG机器视觉专业委员会承办，中国科学院心理研究所的王甦菁博士组织了一系列云上微表情的学术活动。

第二十期云上微表情于2021年9月24日晚上7点进行，由中国科学院心理研究所王甦菁老师团队的李婧婷博士主持。此次讲座有幸邀请到来自北京师范大学的邬霞教授，做了主题为“基于脑电的情感计算研究”的报告，面向情感计算，以脑电为数据基础，介绍多种经典和最新研究，以期双向推动面向情感计算的算法与情感机制研究。此次讲座得到了微表情研究领域的广泛关注，期间有五十多位听众参加了此次讲座。

情感计算是通过赋予计算机识别、理解、表达和适应人的情感的能力来建立和谐人机环境，使计算机具有更高的、全面的智能，是模拟脑、创造脑的情感基础。脑电数据由于具有准确率高、不易伪装、时间分辨率高、无创和安全的优势，从众多情感计算手段中脱颖而出。

邬霞教授的讲座内容主要包括研究背景、情感计算研究现状、基于特征选择的情感计算、基于源定位的情感计算和展望五个部分。

• 研究背景

邬霞教授从最基本的情感开始，介绍了情感模型、情感计算以及常见的情感计算数据源。其中，常见的数据源包括：非生理信号，即行为数据、面部表情和语音信号以及生理信号，即外周生理信号、脑信号（磁共振信号、脑电信号）。

邬教授通过展示利用几种数据源进行情感计算的流程，分析了相应的优缺点，从而引出针对脑信号的详细介绍。

脑信号包括磁共振信号和脑电信号，其中，脑电信号（EEG）具有准确率高、不易伪装、时间分辨率高、无创、安全的优点。

• 情感计算主要流程

首先邬教授介绍了情感计算的主要流程，包括EEG数据获取、特征提取、特征选择、情绪分类和情感计算。

接下来，邬教授介绍了主要的情感计算数据集，例如DEAP、SEED。然后邬教授罗列了基于EEG信号的情感计算中的特征提取，包括时域特征、频域特征、时-频域特征和电极组合特征，并分析相关特征的优缺点。特别地，针对EEG信号的特征提取，目前存在的缺点是无法定位到信号具体产生的脑区。而情感是一个高级的认知过程，由多脑区共同、同时作用产生，因此无法实现对情感特征的精准定位。

 

其次，邬教授介绍了情感计算过程中的特征选择，包括滤波法、包裹法和嵌入法。由于嵌入法兼顾了特征选择和降低错误率的双重目标，具有一定的优势。其中最小二乘回归作为一个常用的统计分析模型，被应用在EEG信号特征提取方法中。但是这种方法对异常值敏感，未考虑自变量误差。而脑电信号易被多种生理伪迹干扰，即容易被异常值干扰，因此无法挑选出最优的特征子集。  

• 基于特征选择的情感计算

在这一部分，邬教授介绍了他们曾经开展的工作，即基于冗余最小化约束正交回归的脑电情感特征选择算法研究（GRMOR模型）。邬教授详细展示了方法设计、实验设置和实验结果。验证结果表明，所提方法在有效去除冗余的基础上，可以有效保留一些具有判别力的脑电特征，从而提升情感计算的效率。

由此，邬教授团队构建了一个脑电情感计算系统，通过所提方法从多域特征中去除冗余信息，提升多类别情感分类效率。

最后，邬教授团队还尝试将获得的信号返回到电极通道上，通过分析三个脑电数据集（DEAP、SEED和HDED），观察到左颞区域的CP5/50th电极是情感计算的关键电极。

• 基于源定位的情感计算

在这个部分，邬教授首先介绍了什么是EEG源信号，即从传感器获得的EEG信号溯源得到源头的EEG信号。

然后，针对源定位计算的一些细节问题，邬教授介绍了详细的实验设计。然后，邬教授通过展示方法流程说明了数据分析方法。此外，邬教授团队还介绍了高密度脑电和相对低密度脑电的溯源性能比较。

基于源定位的方法验证表明溯源的方法有助于提升情感计算的效率。此外，邬教授还展示了前32个具有判别性的脑连接判别特征，和其所对应的不同情感状态下的连接模式。

• 展 望

在讲座的最后，邬教授阐述了目前研究中存在问题，即需要针对群体的通用模型。在未来的研究中，要正视个体差异，为精准的情感识别与分析提供基础。其次，目前的研究尚未解释情感状态的转换规律，未来希望通过揭示情感状态转换的动态规律，深入理解情感变化机制。

在讨论环节，听众们踊跃发言，提出了很多非常有讨论意义的问题，例如探讨了微表情与脑电信号的结合分析、结合脑电信号与肌电信号的情感计算、通过源定位的脑电分析可以有助于解释微表情的产生机制等。

在活动的最后，讲座的主持人李婧婷博士对活动进行了总结并对第二十一期CSIG云上微表情活动进行了预告，将由来自中国科学院心理研究所的东子朝带来主题为“表情标注：从大脑到人脸”的报告。敬请继续关注！

此次讲座的回放已经发布在B站：https://www.bilibili.com/video/BV1cq4y1o7vz，欢迎观看！

此外，王甦菁博士等人在Pattern Recognition Letters申请了主题为“Face-based Emotion Understanding”的专刊，欢迎大家关注。

另外，中国科学院心理研究所微表情实验室（MELAB）诚聘博士后，微表情相关方向、计算机或心理学专业皆可，有意请联系王甦菁老师（wangsujing@psych.ac.cn）。