论文解读 | 基于正则化图神经网络的脑电情绪识别

©PaperWeekly 原创 · 作者｜张玮玮

学校｜东北大学硕士生

研究方向｜情绪识别

引言

论文动机 

现有的基于脑电图的情绪识别方法大多不能很好地解决以下三个方面的问题：

1. 脑电图信号的拓扑结构没有被有效地利用来学习更多的有鉴别性的脑电图特征然而，大多数方法需要在头皮上对脑电图通道进行 2D 表示，这可能会在 flatten 过程中造成信息丢失，因为通道实际上是在 3D 空间中排列的；

2. 不同受试者的脑电图信号差异较大，不利于训练分类器的泛化；

3. 参与者在观看引发情绪的刺激时，可能并不总是产生与刺激一致的预期情绪。

目前研究中，在基于脑电图的情绪识别方面，还没有人试图解决噪音标签的问题。作者提出了一个正则化的图神经网络（RGNN）来解决上述三个问题。

论文标题：EEG-Based Emotion Recognition Using Regularized Graph Neural Networks

论文链接：https://arxiv.org/abs/1907.07835

源码链接：https://github.com/zhongpeixiang/RGNN

论文工作 

脑电信号中的每个通道看作是图形中的一个节点。RGNN 模型扩展了简单图卷积网络（SGC），利用了脑电图信号的拓扑结构，即根据脑网络组织的经济性，作者提出了一个符合生物原理的稀疏邻接矩阵来捕捉局部和全局的通道间关系。局部通道间关系连接附近的神经元群，可以显示解剖学上的连通性。整体的通道间关系连接左右脑半球之间的神经元群，可以揭示与情绪相关的功能连接。

此外，作者提出一个节点域对抗训练（NodeDAT）来正则化图模型，以更好地解决跨被试分类场景，并且还提出了一种基于情绪感知的分布学习（EmotionDL）方法来解决数据集中的噪声标签问题。

RGNN知识基础

简单图卷积网络

给定图 ， 表示节点集， 表示边集。 表示特征矩阵， 表示节点的数目，  输入特征的维度。  可以用加权邻接矩阵  表示。

一般情况下，GNNs 对输入  学习一个特征变换函数，生成输出  , 表示输出的维度。特征转换可以写成：  ，这里  ， 。

GCN (graph convolution network) 的方法如公式所示：

其中   表示   的对角度矩阵，规范化邻接矩阵  可以防止 变得过大。

SGC 方法消除非线性函数   和将所有层之间的所有线性变换   重新参数化为一个线性变换  ，如下所示：

这里：

本质上 SGC 计算拓扑感知的线性变换  ，最后一个线性变换  。

谱图卷积

 表示为无向连接图，其拉普拉斯矩阵定义为：

 L 是 laplacian 矩阵，D 是顶点的度矩阵（对角矩阵），对角线上的元素  依次为各个顶点的度，W 是图的邻接矩阵。归一化的定义是：

其中，拉普拉斯矩阵  被傅里叶基  对角化，这里，  ， 是单位矩阵。

给定空间信号 它的图傅里叶变换定义为  ，逆变换为   。在图 上， 和  两个信号的卷积表示为：

其中， 表示 hadamard product。信号  被  滤波输出  可以表示为：

其中，  可以表示为：

采用 阶切比雪夫多项式（Chebyshev polynomials）来代替卷积核的图傅里叶变换   以简化计算复杂度。基于 阶切比雪夫多项式，可以  近似为：

其中， 为切比雪夫多项式系数， 是标准化的   标准化后，其对角线元素取值在 [-1,1]， 是 中最大的元素， 是 N 阶单位阵。 可按以下递推公式计算得到：

则对信号的图滤波操作可以写为：

论文方法

1. 邻接矩阵

▲ 图1. 62 EEG通道图（灰色对称通道通过红色虚线全局连接）

作者在邻接矩阵中初始化局部通道间关系，如下所示：

其中  表示通道 间的物理距离，  代表一个稀疏超参数衰变率可以控制通道之间的联系。

图 1 描述了 SEED 和 SEED-IV 的全局连接关系，为了利用差分不对称信息，我们将 初始化全局通道间关系到 [-1,0] 如下:  ,邻接矩阵 旨在表示结合局部解剖连接和与情绪相关的整体功能连接的大脑网络。

2. RGNN

▲ 图2. RGNN整体框架

图 2 表示整体 RGNN 框架，结合 NodeDAT 和 EmotionDL，总体损失函数计算如下：  ， 分别为节点域对抗训练与情绪感知分布学习的损失函数。其伪代码如 Algorithm 1 所示。

节点域对抗训练 (NodeDAT)

表示给定源域数据， 表示未标记的目标域数据。领域分类器的目标是最小化以下两个二进制交叉熵损失的总和：

域分类器的目标是将源数据分类为 0，将目标数据分类为 1。点的域概率可以表示为：

域分类器利用一个梯度反转层（GRL）来在反向传播期间反转域分类器的梯度。

情绪感知分布学习

作者转换每个训练样本标签 转化为所有类的先验概率分布 。在 SEED 数据集中，有积极、中性和消极三类情绪，并有相应的类指标分别是 0 1 2，将 转换如下：

在 SEED-IV 中，有四个类：中性、悲伤、恐惧和快乐，分别对应的类指标为 0、1、2 和 3，将 转换如下：

其中， 表示在训练标签中控制噪音水平的超参数。在得到转换后的类分布   后，我们的模型可以通过最小化以下 Kullback-Leibler (KL) 散度来进行优化：

结果

为了评估本文方法的性能，作者在 SEED 与 SEED-IV 脑电图数据集上进行了 subject-dependent 和 subject-independent 实验。实验结果如表 1 与表 2 所示。

RGNN 模型在两个数据集上都取得了优于所有基线的性能，包括使用所有频带的 DE 特征时的最优良的 BiHDM 模型。

除了提出的两个正则化器外，主要的性能改进可以归结于两个因素：1）邻接矩阵包含了左右半球之间的全局通道间不对称关系；2）我们的模型通过扩展 SGC 来减少过拟合的问题，这比 DGCNN 中使用的 ChebNet 简单得多。

▲ 图3. 邻接矩阵对角元素热力图

▲ 图4. 邻接矩阵A中电极之间的前10个边权值

图 3 中前额叶、顶叶和枕叶区域有强烈的活动，表明这些区域可能与大脑的情感处理有很强的关系。图 4 显示了邻接矩阵A中，边权值最大的前 10 个通道之间的连接。注意，在学习 A 之后，所有的全局连接仍然是最强的连接，这再次证明了全局通道间关系对于情感识别是必不可少的。

结论

本文提出了一种基于脑电图信号的正则化图形神经网络。我们的模型在生物学上支持捕获本地和全球渠道间的关系。此外，我们提出了两个正则化器，即 NodeDAT 和 EmotionDL，以提高我们的模型对跨被试情绪识别的鲁棒性。

模型分析表明，作者提出的生物支持邻接矩阵和两个正则化器对模型性能做出显著的贡献。对神经元活动的研究表明，前额叶、顶叶和枕叶可能是情感识别中信息量最大的区域。

点击以下标题查看更多往期内容： 

• AAAI 2020 | 语义感知BERT（SemBERT）
  

• 浅谈 Knowledge-Injected BERTs
  

• 从 Word2Vec 到 BERT
  

• 后 BERT 时代的那些 NLP 预训练模型
  

• BERT+知识图谱：知识赋能的K-BERT模型
  

• 从三大顶会论文看百变Self-Attention

#投 稿 通 道#

 让你的论文被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。

📝 来稿标准：

• 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向） 

• 如果文章并非首发，请在投稿时提醒并附上所有已发布链接 

• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志

📬 投稿邮箱：

• 投稿邮箱：hr@paperweekly.site 

• 所有文章配图，请单独在附件中发送 

• 请留下即时联系方式（微信或手机），以便我们在编辑发布时和作者沟通

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。

▽ 点击 | 阅读原文 | 下载论文 & 源码