「自适应脑机接口研究」综述

2022 年 11 月 27 日 专知

摘要: 脑机接口(BCI)不依赖于外周神经和肌肉，在大脑与外部设备之间建立起直接交流的通路。近年来，该技术在识别准确率和系统交互速率方面已取得巨大突破。然而，脑电(EEG)信号非平稳特性较强且用户主观状态波动较大，传统脑机接口技术对大脑活动的动态变化欠缺适应性，影响了脑机接口系统的控制稳定性，也限制了其智能化发展和应用。自适应脑机接口可根据大脑当前状态动态调整诱发范式和实时更新识别模型，从而增强脑控系统对非平稳大脑活动的适应性，提高其控制精度和鲁棒性，实现更加实用化的脑控系统，对推动脑机接口技术进一步发展极具意义。该文对自适应脑机接口的相关研究进行了回顾和总结，并对该技术未来发展的方向进行了展望。

https://jeit.ac.cn/cn/article/doi/10.11999/JEIT220707

1. 引言

脑机接口(Brain Computer Interface, BCI)通过检测用户意图直接控制外部设备，为人脑和外界环境之间提供了一种全新的交互方式[1-3]。按照脑信号采集的位置，可以将BCI分为侵入式BCI和非侵入式BCI。其中，非侵入式BCI通常使用头皮脑电(ElectroEncephaloGram, EEG)作为控制信号，具有无创、安全、成本低以及便携性好等优势，在医疗康复、疾病检测、机器控制和游戏娱乐等多个领域显现出良好的应用前景[4, 5]。

然而，目前基于脑电的BCI技术仍存在一些问题。第一，由于EEG具有非平稳性、高时变性的特点，传统BCI技术的单次建模模型难以对长时间实验记录的EEG进行准确分类，影响了BCI系统的性能。第二，传统BCI技术无法适应实验中用户生理状态的变化，在平衡人机交互过程中存在欠缺，阻碍了BCI系统的实际应用。为解决上述问题，研究者提出了自适应脑机接口技术[6-8]，该技术能够实时检测用户脑电信号的波动与主观状态的变化，进而对系统参数做出调整，以保持系统的良好控制效果[9-11]。如图1所示，传统BCI组成主要包含诱发范式、信号采集、识别模型和输出反馈4个部分。其中诱发范式通过特定的心理任务将大脑意图编码至EEG中；信号采集技术用于测量大脑活动；识别模型负责将隐藏在EEG中的特定编码信息挖掘出来，并将其转换为控制外部设备的指令；输出反馈将外部设备的执行结果送予用户感知。如图2所示，相比于传统脑机接口，自适应脑机接口增加了自适应调整环节，该环节一方面可针对EEG自身高时变的特性，及时更新识别模型，保证算法的有效性和可靠性；另一方面可利用EEG信号评估用户当前状态，进而根据大脑状态实时调整诱发范式和动态更新识别模型，提高脑控系统的稳定性和鲁棒性。

自适应脑机接口可增强脑控系统对大脑状态的适应性，使系统更加实用化和人性化，能够进一步推动脑机接口走向实际应用，具有十分重要的研究意义。本文首先从诱发范式与识别模型两个方面分析总结了自适应脑机接口的技术实现途径；其次对该技术的典型应用成果进行综述和归纳；然后围绕自适应脑机接口技术在应用中存在的问题进行了深入讨论并对其未来的发展方向进行了分析与展望。

2. 自适应脑机接口技术实现

目前，研究者对于自适应脑机接口的研究主要围绕诱发范式自适应调整和识别模型自适应更新展开，本节将分别从这两个方面分析并总结近年来自适应脑机接口的技术实现途径。

2.1 诱发范式自适应调整

从诱发范式角度看，传统BCI中诱发参数固定，系统的交互友好性较差，且强烈的刺激容易诱发用户较高的认知负荷，不利于用户进行操作[12]。而自适应脑机接口可根据用户EEG质量和主观状态实时调整诱发参数，能够在一定程度上降低用户的认知负荷，使其在相对自然的状态下实现系统的稳定输出[13]。针对于诱发范式自适应调整，本节将列举两种常用的动态调整方式，分别为诱发时长自适应调整与刺激序列自适应调整。

(1)诱发时长自适应调整。BCI系统性能通常需兼顾单试次诱发时长与识别准确率[14]。单试次时长越长，其诱发出的EEG特征越稳定，识别准确率越高，但长时间的诱发会减慢系统交互速率，不利于其走向实际应用。为平衡诱发时长与识别准确率，同时减小大脑状态非平稳特性的不利影响，使系统性能最佳，研究者对诱发时长动态调整的研究日益增多。其调整方法通常依托于动态停止策略实现，即BCI系统在每次输出识别结果之前，需确定EEG信号特征的质量并检查输出结果的置信度，进而依据置信度水平对诱发时长进行调整。

常见的BCI范式即稳态视觉诱发电位(Steady-State Visual Evoked Potential, SSVEP)、P300以及运动想象(Motor Imagery, MI)均可与动态停止策略相结合实现对诱发时长的实时调整。如2018年，Jiang等人[13]分别利用基于贝叶斯的动态停止策略与基于判别分析的动态停止策略检测SSVEP-BCI系统单试次下不同时长刺激的有效性，并对单试次刺激时长进行动态优化。模拟在线实验结果表明，该系统的信息传输率(Information Transfer Rate, ITR)可达到353.3±67.1 bits/min，与传统的固定刺激时长策略相比，显著提高了系统的ITR。2020年，Huang等人[15]利用基于贝叶斯的动态停止策略优化P300-BCI中单目标识别所需的刺激迭代次数，并证明此优化可提高P300的信噪比。同年，Wang等人[16]通过检测MI-BCI中EEG的功率谱密度判断用户当前的警惕性以作为动态停止的判断标准，进而调整单试次诱发时长。

(2)刺激序列自适应调整。BCI系统的重要发展方向之一为扩大指令集数量，其实现途径之一是将单一诱发范式转变为混合诱发范式，增加可利用特征的维度以扩大指令集[17]。但随指令数量的增多，混合诱发范式常采用的序列型刺激编码也会由于序列的增多而导致自身编码效率下降，从而降低系统的交互速率[18, 19]。因此刺激序列也是诱发范式动态调整的常用参数。刺激序列自适应调整是指在每次呈现一个刺激序列之前，需确定当前分类结果的置信度水平，进而依据置信度水平和预设的最优序列标准，从刺激序列的搜索空间挑选最优序列进行呈现。

2018年，Mainsah等人[20]使用朴素贝叶斯动态停止算法量化分类结果的置信度，并构建基于刺激-响应对的互信息目标函数，以目标函数最大化作为最优序列标准设计了一种刺激序列动态调整范式。该范式可利用当前给定的数据最大化有关目标字符的信息量以确定最优刺激，最大限度地提高了诱发神经响应的信噪比。与传统行列范式和棋盘范式相比，该自适应调整范式可在保证正确率的前提下，显著提高字符拼写的速度。基于此，2021年，该团队[21]通过在目标函数中施加刺激空间约束和P300反应的时间依赖性，提出了一种增强型刺激序列自适应调整范式，该范式与其他传统范式相比，明显减轻了不应期效应的影响，可以以明显更快的速度产生不低于传统范式的字符拼写正确率，性能总体上有所提高。

2.2 识别模型自适应更新

从识别模型角度看，传统BCI的识别模型无法实时更新，在跟踪EEG信号的非平稳特征时表现不佳[22]。而自适应脑机接口可根据用户EEG质量在实验过程中动态更新识别模型，提高BCI对大脑状态变化的适应性，使系统更加智能地了解用户意图。现有BCI识别模型的构建流程主要包括特征提取和模式识别两部分，本节将分别从自适应特征提取和自适应模式识别两个方面进行介绍。

2.2.1 自适应特征提取

自适应特征提取算法是指针对于实时变化的EEG特征，自动调节特征提取参数的方法，它可保证挖掘特征的有效性，提高BCI系统的识别准确率[23]。根据EEG特征的种类，可以将其分为单一特征自适应提取与融合特征自适应提取。

(1)单一特征自适应提取。单一特征自适应提取是指仅对单独某类特征如时域、频域或空域等特征进行动态提取。该类算法大多在传统EEG特征提取算法的基础上形成，例如基于递归最小二乘法的自适应共空间模式(Common Spatial Pattern, CSP)[24]，基于最小均方误差的自适应自回归模型[25]以及基于最佳基函数的自适应小波包变换[26]等。

2011年，Wang等人[27]提出了一种多元自适应自回归模型算法，来动态提取EEG的频域特征，其首先利用神经网络优化不同时刻下自回归模型的系统状态方程，其次根据卡尔曼滤波器的动态递归特性自适应调整自回归模型的参数。实验结果表明，与传统自回归模型相比，该算法可有效提取信号的动态特征，提高分类效果。2020年，Talukdar等人[28]通过添加正则化参数以及训练集和测试集之间的相对熵不断更新CSP的协方差矩阵来自适应提取EEG的空域特征。与传统的CSP特征提取相比，该特征提取算法可显著提高脑电信号特征的可分性。

(2)融合特征自适应提取。融合特征自适应提取是指对多个特征例如时频空域融合特征进行自适应提取，其挖掘出的特征信息通常可表征出EEG在多域上的非平稳性。

2018年，Kim等人[29]提出了一种时频分析法与K均值聚类结合的自适应特征提取算法，用于动态提取反映EEG的时域、频域和空域特征信息。该算法首先利用短时傅里叶变换或小波变换计算所有通道脑电信号的功率谱密度矩阵，其次通过检验脑电信号的类别可分性筛选出最优通道组，并计算出可反映该最优通道组功率谱密度差分矩阵的加权矩阵，最后利用K均值聚类从加权矩阵中提取自适应特征，其与支持向量机(Support Vector Machine, SVM)结合进行特征分类，可以在BCI竞赛IV数据集2a上取得86.36%的分类准确率；同年，Molla等人[30]提出了一种基于阵列小波变换和聚类方法的自适应特征提取算法，该算法可通过时空域两方面操作增强单试次ERP特征。时域上，利用基于子带能量的数据自适应阈值技术抑制单试次ERP中的高频噪声；空域上，使用基于粒子群优化算法的聚类方法动态选择携带ERP信息较多的通道。该方法最终与时空判别分析算法结合实现了对单试次ERP的分类。

2.2.2 自适应模式识别

自适应模式识别是指在原有模型中实时引进新测试数据，以逐渐对模型进行更新，它一方面可提高系统的识别准确率，另一方面可增强系统对大脑状态变化的适应性，使系统能够在训练样本有限的情况下，保持高准确率，以减少BCI的校准时间。根据引进数据的方法，可以将其分为基于错误相关电位标记的模型更新、基于决策值评估的模型更新以及基于迭代学习的模型更新。

(1)基于错误相关电位标记的模型更新。错误相关电位(Error-related Potential, ErrP)是大脑产生的同错误关联的事件相关电位，是人类固有的反馈机制，可用于监测BCI系统的运行情况[31]。基于ErrP标记的模型更新是指当数据顺序到达时，根据用户对BCI反馈结果响应的ErrP，逐渐更新识别模型。

2017年，An等人[32]提出了一种自适应线性判别分析(Linear Discriminant Analysis, LDA)算法，该算法可通过检测ErrP对LDA的识别结果进行标记，若在单试次识别完成后，没有检测到ErrP，则利用该试次与其预测标签调整相应类别分布的均值和方差。在二分类MI在线实验中，该算法可取得高于83%的分类准确率。2021年，Chiang等人[33]提出了一种自适应卷积神经网络(Convolutional Neural Networks, CNN)算法，在根据ErrP的检测判断当前试次被正确分类后，将该试次的数据与其预测标签加入CNN训练池，对CNN进行重训练。实验结果表明，该算法可通过学习在线数据，减少SSVEP-BCI使用前所需的校准时间。

(2)基于决策值评估的模型更新。基于决策值评估的模型更新是指在利用原有模型对每个试次进行决策后，对当前决策值进行评估以判断预测标签的可靠性，进而利用可靠性较高的在线数据对原有模型进行优化。

2020年，Jiang等人[34]提出了一种基于密度聚类的增量自训练识别模型，该模型首先利用密度聚类法对测试样本的标签进行预测，其次通过判断其决策值与扩展邻域中样本的关系，量化预测标签的可靠性，进而将置信度较高的样本加入训练集以自动更新聚类中心，可在BCI竞赛III数据集V上取得88.67%的分类准确率，高于非自适应密度聚类法的83.62%。2021年，Wong等人[35]通过将多刺激典型相关分析(Canonical Correlation Analysis, CCA)算法的批量学习模式转换为在线学习模式，构建出在线自适应CCA算法。该算法在对单试次数据进行预测后，通过对比其决策值与CCA算法的决策值来确定合适的在线数据进行学习，最终在12分类的SSVEP-BCI在线实验中取得89.24%的分类准确率，显著优于相同条件下CCA算法67.01%的准确率。

(3)基于迭代学习的模型更新。与上述两种方法不同的是，基于迭代学习的模型更新不对新脑电特征或新测试数据进行筛选，而是直接利用所有数据对原有模型进行更新，是模型不断进行迭代学习的过程。该类算法能够较好地解决非线性问题，已成功应用于高时变特性的EEG信号分类中。

2019年，Komijani等人[36]提出了一种基于递归自适应神经模糊推理系统的分类算法，该算法继承了神经网络的学习能力，可在测试阶段将前一步预测信号的误差重新反馈至输入层，通过递归学习的方式实时调整模糊推理系统的结构，减小后一步预测的误差，提高分类精度，在4分类任务的MI实验中，取得85.52%的平均分类正确率。2020年，Ma等人[37]提出了一种自适应收缩投影次梯度算法，旨在对已有数据进行迭代学习以寻找最优分类模型，使得损失函数最小。该研究通过对ERP-BCI中EEG波形的人工移位来考虑ERP的潜伏期变化，以此来探究该算法对非平稳EEG分类的有效性，实验结果表明其可以为平稳数据和非平稳数据提供大致相同的在线分类准确率。

3. 自适应脑机接口的应用现状

目前，自适应脑机接口技术的研究成果根据应用场景可大致分为3类：脑控字符输出、脑控移动设备和多任务并行脑控。本节叙述了不同应用场景下该技术的发展现状，对比分析了自适应脑机接口相较于传统脑机接口的特定优势。

3.1 脑控字符输出

脑控字符输出系统可以帮助因神经系统疾病丧失语言交流能力的患者重新获得与外界进行信息沟通的能力，帮助其正确高效地表达出自己的意愿。传统脑控字符输出系统模式固定，用户认知负荷大，系统信息传输率低。自适应脑机接口技术的应用可进一步提升系统的交互速率，扩大单位时间内字符输出的数量，使系统更加接近于人类自然的语音输出，提高系统的友好性。

2020年，Chen等人[38]通过对诱发时长自适应调整提出了一种基于SSVEP的40字符自适应脑控字符输出系统。其可以依据用户脑电信号的质量动态调整编码范式中的刺激时长，于在线实验中获得164.72 bits/min的平均信息传输率，高于相同条件下传统脑控字符输出系统的134.25 bits/min。2021年，Wong等人[35]通过对识别模型进行动态更新提出了一种基于SSVEP的12字符自适应脑控字符输出系统，可获得95.73 bits/min的平均信息传输率，显著高于传统脑控系统的55.81 bits/min。

3.2 脑控移动设备

脑控移动设备可以解放用户的双手，挖掘其多任务并行执行的潜力，一方面增强健康个体的行动与认知能力，另一方面提高患者或残疾人的对外交互能力。传统脑控设备无法适应大脑状态，用户在控制时易触发错误指令，自适应脑机接口技术可减小EEG非平稳性以及用户思维状态波动对设备控制效果的影响，降低脑控输出指令的错误率，有效提高控制的稳定性和鲁棒性。

2020年，Wang等人[16]提出了一种基于运动想象的自适应脑控智能轮椅系统，该系统可根据用户对轮椅的操控能力，动态调整单试次诱发时长以保证脑控指令的识别准确率。实验结果表明，用户可在室内复杂环境下以较低的指令误触发率对其保持稳定控制。2021年，Chen等人[39]提出了一种基于增强现实辅助SSVEP-BCI的机械臂自适应控制系统。该系统可根据用户的状态实时调整单试次刺激时长，能够减少用户的视觉疲劳、提高任务的完成效率。

3.3 多任务并行脑控

多任务并行脑控可帮助用户执行多任务作业，提高对外交互效率，进一步拓宽脑控字符输出系统和脑控外部设备的实际应用范围。近期研究发现，并行思维任务会影响诱发脑电特征的信噪比，从而降低BCI系统的性能[40, 41]。将自适应脑机接口技术应用到并行任务场景，不仅可以在一定程度上降低用户执行多任务作业易疲劳带来的影响，还可在并行任务干扰下维持BCI系统的性能，提高多任务作业完成的效率。

2020年，Huang等人[15]采用工作记忆n-back任务，构建与P300-BCI操作并行的思维干扰任务，研究了自适应脑机接口技术在不同负荷的思维任务干扰下对P300-BCI的拮抗作用。该研究发现，使用基于诱发时长自适应调整的脑机接口技术建立的BCI可以在干扰情况下获得与无干扰情况下相近的字符识别准确率，这表明自适应脑机接口技术可以在并行任务干扰下建立鲁棒性更高的BCI系统。同年，Aliakbaryhosseinabadi等人[42]提出了一种基于运动相关皮层电位的自适应脑机接口系统，实验中将踝关节背屈试验作为主要任务，听觉oddball试验作为次要任务，并要求用户同时执行，该系统可以根据用户的注意力状态实时给予用户反馈，帮助用户将注意力集中到主要任务中，减少由次要任务产生的注意力转移量。

4. 发展趋势与挑战

综上所述且如表1所示，相较于传统脑机接口，自适应脑机接口具有高信息传输率、高准确率以及高抗干扰性的优点，更能适应复杂环境和复杂任务。然而，目前大多数自适应脑机接口的相关技术研究仍在起步阶段，与实际自然交互应用尚有距离。下面将从技术实现和实际应用两方面分析自适应脑机接口存在的瓶颈和其未来的发展趋势。

(1)技术实现方面。从诱发范式自适应调整角度看，不同诱发参数的自适应调整均设有停止标准，即当待调参数的置信度到达预设的置信度阈值时会停止调整。现有阈值预设均为固定值，但一方面由于实验过程中参数的动态变化，预设阈值在实验中可能无法时刻保持最优，另一方面由于个体差异性，适用于不同用户的阈值应有所不同，固定阈值的设置极大限制了自适应脑机接口的普适性[43,44]。因此，亟需挖掘阈值自适应学优方法，进一步提高自适应脑机接口对于大脑活动动态变化的适应性和鲁棒性，促进BCI系统的进一步发展。

从识别模型自适应更新角度看，现有自适应脑机接口技术根据输入数据有无真实类别标签可分为有监督技术和无监督技术。前者于在线过程中需要有指导的用户培训，可接触到输入数据的真实标签，分类性能较好，但由于实际应用中输入数据的标签未知，因此自适应脑机接口技术走向大众只能依靠后者。并且目前多项研究[45,46]表明，无监督自适应技术亦能实现比非自适应技术更为优良的性能，相比于有监督技术，其还可缩短甚至消除BCI系统校准的时间从而使BCI系统实现即插即用的效果。因此，探究更稳健的无监督自适应脑机接口技术，例如寻找更可靠的强化信号代替检测较为困难的ErrP对BCI进行适应性调整，将是自适应脑机接口后续发展的任务之一。

此外，现有自适应脑机接口技术只聚焦于实时调整诱发范式或动态更新识别模型中的单一参数，但在BCI系统中，二者均占有举足轻重的地位，且有研究[35]表明，同时在线调整诱发时长与分类器模型等不同参数之间没有冲突，因此可将自适应诱发范式与自适应识别模型有机融合至一套BCI系统中，一方面减轻用户的任务负担，另一方面维持用户对脑控系统的控制鲁棒性，从而进一步提高BCI系统的性能。

(2)实际应用方面。自适应脑机接口技术在对鲁棒性和自由度要求较高的外部设备控制中具有广泛的应用前景，但其在实际应用方面还缺乏较为客观量化的评价方法。一方面，基于用户生理状态的自适应脑机接口技术难以对用户实时主观状态进行准确量化，预测模型的鲁棒性不高，阻碍了该技术的实际应用。2016年，Myrden等人[47]提出了一种基于用户生理状态的自适应脑机接口，并证明其在分类准确率方面优于非自适应脑机接口。但该研究中的生理状态预测模型基于用户自我报告的疲劳、沮丧以及注意力水平获得，评价方法过于主观，模型预测准确率不高。未来，可将眼电、心电以及脑电等多模态生理信号应用于用户生理状态的监测中，相较于单一模态的脑电信号，多模态信号融合可提高用户状态的识别准确率[48, 49]，但具体用于识别用户主观状态的多模态信号组合仍存在较大的争论，还需研究者进一步探究[50-52]。另一方面，现有自适应脑机接口技术在实际应用于脑控系统后，其效果还缺少较为综合性的量化评测方法，除系统的识别准确率以及信息传输率指标外，还应引入用户实时EEG信号质量评估以及脑力负荷评估等指标，以对自适应脑机接口系统进行综合评测。

未来还可考虑实际应用场景，结合更多新兴技术例如机器视觉技术进一步发展自适应脑机接口，使系统能够充分考虑用户状态、周围环境以及控制需求等多方面因素，实现全方位、多角度、深层次的自适应，进一步提高BCI系统的实用化和人性化。

5. 结束语

综上所述，自适应脑机接口是一种多学科交叉融合的新兴前沿技术，目前已取得了一定的进步和发展。相比于传统脑机接口，其在脑控字符输出和脑控移动设备等场景应用中具有高适应性、高准确率以及高信息传输率的优点。随着相关技术的研究与发展，相信自适应脑机接口技术将会走向实用化阶段并融入人们的生活，满足更多应用需求，提升工作及生活效率。

专知便捷查看