脑电情绪识别：脑功能连接网络与局部激活信息结合

作者丨张玮玮

学校丨东北大学硕士生

研究方向丨情绪识别

引言

论文动机

情绪状态的转变通常会激活脑电功率谱的变化。近年来的研究发现，不同的情绪状态造成的脑电图波谱的差异在脑电 α 频带比较明显，并可以在大脑前部区域捕捉到。另外，情感反应也与不同大脑区域之间的波谱变化有关，因此，不同脑区脑电图波谱的变化能够预测受试者不同的情绪状态。

如前所述，激活模式可以捕捉被试在感受不同情绪时大脑各个区域之间的功率差异，而不同大脑区域之间的连接模式则可以表现大脑进行情感处理时的信息交互过程。目前，利用这两种补偿信息的模式融合进行情绪识别的研究工作比较少。

论文工作

本文将大脑不同区域的信息网络传播模式和脑内激活差异融合起来，以提高情绪识别的能力。 方法：构建具有相位锁定值的情绪相关脑网络，采用多特征融合方法将补偿激活信息与连接信息相结合进行情绪识别。

论文方法

▲ 图1. 情绪识别过程

激活模式

激活模式主要反映被试者在不同情绪状态下的能量差异。作者主要研究了功率谱密度（PSD），微分熵（DE），DASM，RASM，ASM，DCAU 这六个能量特征分布在不同情绪下的表现，如图 2 所示。其中，从图中可以看到 beta 和 gamma 频段产生了显著差异。

▲ 图2. 不同情绪下脑电激活模式

连接模式

由于不同脑区之间的同步活动并不是单纯的线性关系，在本文中，作者提出了相位锁定（PLV）的方法来捕捉非线性相位同步，统计测量两个脑区的相位同步。PLV 的定义如下：

为了构建脑功能网络图，本文将 32 个电极作为网络节点，利用图论的知识，提取了四种脑电网络图特征（EEG based network patterns, ENP）。 

聚类指数量化了一个节点的最近邻之间存在的连接数与最大可能连接数的比例，节点i的聚类指数在中定义为：

SP-Length 表示从一个节点到另一个节点必须遍历的最小边数。

其中：

G-Efficient 度量信息在整个网络中传播的程度，是任意两个节点之间最小路径长度的调和平均值的倒数。

L-Efficient 通过观察其子网络的良好连接来衡量网络的区域专业化能力。

▲ 图3. 不同情绪下的脑功能网络图

模式融合

激活模式捕捉对情绪作出反应的局部活动，而连接模式挖掘相关脑区之间的相互作用。将这两种模式融合的难点主要是这两种特征类型中存在的冗余信息可能会意外地影响识别效果。在本工作中，将 F-score 和分类器依赖结构相结合来实现特征选择，如图 1，这样既保证了所选特征子集的分辨能力，又节省了计算量。

第 i 个特征的 F-score 定义为：

F(i) 越大，说明对应特征的鉴别能力越强。对所有 F-score 值的降序排序，本文应用支持向量机（SVM）和图正则化极值学习机（GELM）的模型，并采用 10 倍交叉验证方案来选择基于训练集的广义特征。特征选择的步骤如下： 

1. 计算训练集中所有特征的 F-score 值，并按降序排序，定义为 F，并将一个特性子集Fsel初始化为空。将最佳分类结果定义为 MaxR，并将其设置为 0。将最优特性索引初始化为空。

2. 从 f 中选择 f 得分最高的特征向量，将选择的向量加入到 Fsel 中。 

3. Fsel 进行 10 倍交叉验证,估计平均分类精度 μ。 

4. 重复步骤 2 到 4 直到遍历完毕。

▲ 图4. 特征选择过程

最大化识别器的上述损失函数，特征提取过程会产生域不变的特征，从而消减情绪识别中的域差异。

结果

为了评估本文方法的性能，本文在三个基准的基于多模态的情绪数据库上进行了实验，即 MAHNOB-HCI、DEAP 和 SEED。从本质上说，多模态信息方法的性能改进是由于利用了从激活模式和连接模式中获得的补偿信息。

实验结果如图 5 所示，多模态方法相对于单模态方法有助于提高识别性能。除了提高融合策略的性能外，还需要注意影响情绪识别的另外两个方面，一是在不同的数据集上观察到不同的准确性，SEED 数据集表现最好。另一点是，由于不同的设计目的，不同的特征选择方法可能会导致最佳特征子集的差异。

▲ 图5. 实验结果

结论

在这项工作中，作者提出将脑网络拓扑结构和基于脑电图数据的功率谱激活模式结合起来进行情绪识别。该方法不仅捕捉了局部的情绪反应活动，而且挖掘了相关脑区之间的相互作用。

点击以下标题查看更多往期内容： 

• 时空域分层神经网络脑电情绪识别模型

• EmotionMeter：更精准地识别人类情绪
  

• ICLR 2020：从去噪自编码器到生成模型
  

• 变分推断（Variational Inference）最新进展简述
  

• 蒙特卡洛梯度估计方法（MCGE）简述

• 从三大顶会论文看百变Self-Attention

#投 稿 通 道#

 让你的论文被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。

📝 来稿标准：

• 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向） 

• 如果文章并非首发，请在投稿时提醒并附上所有已发布链接 

• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志

📬 投稿邮箱：

• 投稿邮箱：hr@paperweekly.site 

• 所有文章配图，请单独在附件中发送 

• 请留下即时联系方式（微信或手机），以便我们在编辑发布时和作者沟通

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。

▽ 点击 | 阅读原文 | 下载论文