用机器学习和神经科学解码大脑信号

编译作者:Rose
公众号:脑机接口社区

人脑是一个非常了不起的器官,它大约三磅重,却能控制着我们身体的所有功能。它处理我们所有的思想,它是人类智力、创造力、情感和记忆的神经生物学基础。我们的大脑分为几个部分,每个部分都有一个主要的功能。

在本实验中,我们的重点关注的是枕叶。这是我们的视觉处理中心,在这里处理我们的视觉信息。它处理并使我们的大脑能够识别我们正在看的东西。

我们可以从大脑中收集到的数据类型

脑机接口(BCI)的目的是在大脑和外部设备之间建立一个直接的通信通道。这使得用户能够通过大脑活动与计算机进行交互。

BCI不是像Cerebro这样的读心工具。相反,它检测大脑发出的能量的变化。人脑包含约860亿个神经元,每个神经元分别与其他神经元相连。每当我们思考或移动肌肉时,这些神经元就会被能量激活。BCI可以识别大脑中的这些能量模式。

脑电图监测脉冲和波放电[来源](https://en.wikipedia.org/wiki/Electroencephalography)

脑电图(EEG)是一种记录大脑信号的常用技术。它是非侵入性的,所以我们不需要切开我们的头骨来收集我们的大脑信号。

脑电图描记器通过放置在头皮上的一系列电极记录大脑产生的能量。这需要受试者戴上脑电帽,电极放置在特定的位置。这些电极检测大脑活动,也就是大脑释放出的电能。

在这个实验中,我们想要记录大脑信号与我们的眼睛所看到的东西有关。通过将电极放置在枕叶区域,电极将接收我们所看到的信号。在这里,指示灯会闪烁。这种类型的脑电图信号称为稳态视觉诱发电位。

稳态视觉诱发电位

稳态视觉诱发电位(SSVEP)是当我们看到闪烁的物体时产生的信号,通常在1到100Hz之间。在这个实验中,这些闪烁的灯是闪烁的LED灯。这些闪烁的灯是“刺激”。

考虑一个脑-机接口系统,其目标是解码用户的输入,使之符合“左”或“右”两种可能的选择之一。有两种刺激,一种是选择“左”,另一种是选择“右”。

两种刺激以不同的频率闪烁,11Hz表示“向左转”;而“向右转”的频率为15 Hz。参与者通过专注于其中一种刺激来选择选项。例如,通过关注“左”刺激,选择“左”选项。

当参与者专注于其中一种刺激时,该特定刺激的频率可以在枕叶处被获取到。我们可以通过从EEG信号中提取刺激频率来确定用户关注的是哪种灯。这就是脑机接口(BCI)系统如何将SSVEP大脑信号解释为对外部设备的指令。

该视频现场演示了SSVEP信号是如何被我们的眼睛所关注的东西所影响的。

实验装置

韩国的一所大学设计了利用SSVEP控制下肢外骨骼的实验环境。参与者可以通过将注意力集中在所需的刺激上来控制外骨骼。

参与者可以从五种操作中选择一种来操作外骨骼。这相当于五个发光二极管以不同的频率闪烁。

walk forward (9Hz)--向前走(9Hz)

turn left (11Hz)--向左转(11Hz)

turn right (15Hz)--向右转(15Hz)

stand up (13Hz)--站立(13Hz)

sit down (17Hz)--坐下(17Hz)

受试者佩戴外骨骼并专注于视觉刺激发生器产生的LED

如果打算向前移动,则受试者将注意力集中在以9 Hz闪烁的LED二极管上。同样,通过关注以15 Hz频率闪烁的LED二极管,它将使外骨骼向右转。

在实验过程中,提供了语音指导来指导用户。他们的任务是遵循给定的指令说明,并通过专注于相应的LED灯来操作外骨骼。

使用8个通道进行SSVEP采集的EEG通道布局

为了建立监督学习分类器,将采集到的脑电图信号作为输入数据,将分配的任务作为标签。在本实验中,作者在脑电图帽上选取了八个电极,与输入数据的八个通道相对应。

研究人员对获取的脑信号进行了快速傅里叶变换操作,将信号从时域转换到频域。这样就获得了120个样本的输入数据。因此,输入数据是一个120x8维的信号。

卷积神经网络分类器

No-Sang Kwak等人提出了一种使用卷积神经网络的SSVEP分类器。在论文中,他们将其命名为CNN-1。它具有两个隐藏层,内核大小分别为1x8和11x1。接下来是具有5个单元的输出层,该输出层表示外骨骼运动的五个可能动作。学习率为0.1,权值按正态分布初始化。

CNN-1体系结构。由两个卷积层和一个输出层组成

作者还实现了另外两种神经网络和三种信号处理方法,以比较CNN-1的性能:

CNN体系结构2 (CNN-2):类似于上述CNN体系结构,但在输出层之前包含一个额外的3单元全连接层.

前馈NN

前馈(NN):一个简单的3层全连接前馈神经网络

典型相关分析(CCA):典型相关分析是寻找目标频率和信号之间相关性的常用方法。CCA一直是SSVEP分类的首选方法

多变量同步指数(MSI):多变量同步指数估计两个信号之间的同步作为解码刺激频率的指标

CCA + k最近邻(CCA- knn): k近邻的典型相关分析

这些方法用于将性能与上述CNN-1架构进行比较。

评价

作者对13500个训练数据和1500个测试数据进行了10倍交叉验证。下表显示了每个分类器的分类准确性。

基于受试者的10倍交叉验证结果,比较不同的分类方法

该表显示CNN-1的性能优于其他神经网络体系结构。CNN-1的性能也优于CCA,后者是SSVEP分类的流行方法。总体而言,神经网络的结果比CCA更可靠,因为CCA表现出明显较低的性能。

深度神经网络通常在处理大量数据时表现更好。找出优于传统方法所需的数据量。作者在不同的训练样本容量下验证了算法的有效性。

10倍交叉验证结果,改变训练数据量,比较不同的分类方法

CNN-1在每一个数据量上都优于其他神经网络。然而,CCA-KNN在少于4500个训练数据样本的情况下表现出更好的分类性能。

下图是使用静态SSVEP的受试者S1的CNN-2的特征表示。使用静态SSVEP数据表示CNN-2中每一层的平均特征。在F3层中,蓝色为9 Hz;红色,11 Hz;绿色,13 Hz;黑色,15 Hz;青色,17 Hz。

下图为使用动态SSVEP的受试者S1的CNN-2的特征表示。使用动态SSVEP数据表示CNN-2中每一层的平均特征。在F3层中,蓝色为9 Hz;红色,11 Hz;绿色,13 Hz;黑色,15 Hz;青色,17 Hz。

总结

在这项研究中,研究人员的目标是建立一个具有深度学习分类器的鲁棒的BCI系统。卷积神经网络在SSVEP分类中表现出了良好的且高度鲁棒的性能。

BCI系统在帮助残疾人控制外骨骼(如铁人服)或轮椅(如X教授)等设备方面有着巨大的潜力。

但是,构建一个可靠的BCI系统仍具有挑战性,而且将这些设备从实验室带到大众市场还需要大量的努力。

论文信息:

Aconvolutional neural network for steady state visual evoked potentialclassification under ambulatory environment

​用机器学习和神经科学解码大脑信号

文章来源于网络,仅用于学术分享,不用于商业行为,若有侵权及疑问,请后台留言!

更多阅读

ICA算法处理后,ICA成分识别

最新大脑图谱研究表明,手部的运动区域也与整个身体相连

第2期 | 国内脑机接口领域专家教授汇总

精彩长文 | 脑机接口技术的现状与未来!

ICA处理脑电资料汇总

收藏 | 脑电EEG基础与处理汇总

点击上面动图扫描二维码,关注我们

发布于 2020-07-17 10:56