脑机接口,是通过计算机或其他电子设备在人脑与外界环境之间建立一条不依赖于外周神经和肌肉组织的全新对外信息交流和控制通道。脑机系统通过检测人的大脑活动状态,对其进行解析并将大脑意识转换为相应外部命令直接与外部环境进行交互,最初主要是用于帮助患有严重神经肌肉障碍(如肌肉萎缩症,脊髓损伤患者或严重中风患者等)的病人与外界进行沟通(打字、假肢、轮椅、智能车控制等)。近年来,随着脑成像技术的进步、对大脑认识的进一步加深、信号处理技术和计算技术的飞速发展,脑机接口技术的含义进一步得到外扩,其存在形态和应用领域得到极大扩展,特别是可穿戴技术和设备的兴起为其提供了一条新的发展思路,使之开始进入人们的日常生活。目前,脑机接口已经在肢体辅助、神经康复、军事及娱乐等领域得到了具体的应用示范,其应用领域正进一步扩展。
脑机接口系统根据脑信号获取方式的不同,可以分为侵入式和非侵入式两种。侵入式脑机接口需将电极植入大脑灰质或放置于大脑皮层表面,可达到高信噪比和高信息传输率,其缺点是电极植入对大脑产生损伤,目前实验对象主要是猴子等动物。而非侵入的方式一般只需将电极置于头皮上,简单易行无伤害,缺点是采集的信号信噪比低。目前非侵入式脑机接口大多是基于脑电图(EEG)与 脑磁图(MEG)的。近年来,随着功能成像技术迅速发展,已出现了一些基于其他模态信号的脑机接口,如基于红外脑功能成像(fNIRS)及功能磁共振成像(fMRI)的脑机接口等。从成本、性能、实用等因素综合考虑,基于 EEG 的脑机接口目前还是人们的首选。
2013 年以来,脑机接口技术取得了长足的进步,可以概括为如下几个方面。
(一)脑信号分析算法
脑信号分析算法是脑机接口的重要环节,分析对象包括脑电、功能核磁、光学成像等等。如华南理工大学建立了系列基于稀疏表示的脑信号特征选择算法,较传统方法具有明显优势,可以选择所有感兴趣的特征。他们还建立了多通道脑电中事件相关电位的贝叶斯估计方法,及多导脑电分析的概率共同空间模式(CSP)方法[1,2]。上海交通大学建立了高阶偏最小均方方法,解决脑电信号特征提取和模式分类问题,实验结果显示该方法对于高维小样本数据的特征提取和分类问题具有很强的泛化能力。他们还建立了基于全概率模型鲁棒张量分解与特征提取方法,该方法可以在数据缺失的条件下估计隐含因子以及相应的个数,适合处理高噪声、带干扰的复杂数据的特征提取问题,在脑电动态模式识别、视觉事件识别等方面得到了应用[3,4]。浙江大学在非人灵长类动物脑机接口平台上开展了猴子 M1 区神经元信号的时变解码工作,他们使用蒙特卡罗点过程滤波器建模脑信号编码参数的变化规律,突破以往静态解码的假设,在解析脑信号的同时,动态预测神经元的编码性质,进而提高解码效果[5]。
(二)脑机接口脑机制
电子科技大学设计了相应的多模态数据采集范式,获取了被试的脑电、结构以及功能磁共振等多模态信息,并进行了相应的分析,揭示了运动想象(MI)的脑网络机制,并挖掘了相应的生理指标对 MI 脑机接口性能进行预测,并从多个层面解释了 BCI 盲被试的生理机理[6-8]。他们研究了脑机实时交互与信息处理机制,挖掘功能磁共振(fMRI)和脑电等脑信号特性,研究机器智能与人脑智能的高效融合途径、方法与系统实现。解放军信息工程大学研发了实时功能磁共振平台,通过对功能磁共振成像数据的在线处理,实时地完成图像重构与数据处理,并建立了实时视觉信息编解码示范系统。
(三)脑机接口关键技术
人们进行了大量工作,通过包括范式与算法的系统设计,大大提高了脑机交互系统性能。例如,清华大学关于基于稳态视觉诱发电位(SSVEP)的文字输入系统,获得了极高的信息传输速率,理论上可以 1 秒钟输入一个字符[9]。华东理工大学与日本脑科学研究所合作,通过范式刺激的设计提高了 P300 字符输入系统的性能[10]。奥地利 Graz 理工大学、华南理工大学、国防科技大学采用多模态范式设计,有效提高了脑机接口系统的检测性能[11-15], 实现了一定程度的多维控制[16-20]。浙江大学以动态变化的几何颜色图像作为视觉刺激,建立了非人灵长类动物脑机接口平台,开展了猴子抓握手势 , 手臂以及避障等复杂运动的解码的工作,并完成了猴子多通道脑信号与上肢运动的解析与机械臂控制的实现[5]。天津大学与中国航天员中心人因工程重点实验室合作,采用多模态范式设计(P300+SSVEP),针对太空飞行过程中的各类约束条件开发了适于轨道环境的自适应脑机交互系统,完成了人类首次太空脑机交互实验[21]。
(四)脑机一体化
脑控技术可以和其他智能技术结合,形成脑机一体化系统,从而完成较复杂的控制任务。这些智能技术包括自动导航技术、智能机器人、智能假肢技术等。在脑机一体化系统中,用户可以主要关注目标/目的,而较少关注控制细节,具体细节控制由智能设备完成,这样就大大减轻了使用者的精神负担,提高了控制效率和可靠性。例如,在轮椅控制中,人们将脑控与自动驾驶技术结合,发挥它们各自的优势,使它们相互协同,实现了脑机共享控制技术[22]。华南理工大学开发了一款基于共享控制的脑控轮椅,他们通过传感器感知的环境信息构建地图,并产生系列候选目的地,用户通过脑机接口选择目的地,然后自动导航系统驾驶轮椅到达目的地,在轮椅行进中,用户还可以通过脑机接口停止轮椅[23]。国防科技大学建立了以多自由度人形机器人(型号NAO H25)为控制对象的脑机一体化控制系统,可以利用被试的大脑运动想象控制机器人完成行走任务,或者控制机器人的机械手臂完成目标抓取任务[24]。东南大学利用三维动画刺激患者进行运动想象并实现了康复机器人控制[25]。
(五)临床应用研究
中风患者由于大脑皮层损伤而导致部分肢体运动功能失效。目前通过基于脑机交互的运动想象已成为患者中风后肢体偏瘫康复训练的新方法。一方面,脑机接口可与神经假体结合辅助患者失去的肢体功能[26,27];另一方面,中风患者通过脑机交互康复训练,促进中枢系统功能实现重组或代偿,以达到最终运动功能恢复的目的[28]。上海交通大学对 5个中风病人进行2 个月的康复训练,病人通过运动想象脑机接口来控制功能电刺激对肢体进行刺激,使肢体能够完成某种特殊动作,并最终实现5位中风病人临床Fugl-Meyer评估分数的提高[29]。华南理工大学建立了脑控轮椅、护理床和家电的脑机接口环境控制系统,已经成功应用于20余名颈椎损伤严重瘫痪病人。他们还针对意识障碍病人建立了多种多模态脑机接口系统,用于意识检测和辅助诊断,其方法及系统较临床传统的行为量表诊断方法具有更高的灵敏度,并已进入临床试用,实验病例数达到了150例以上[23,30-32]。另外, 天津大学开发了面向瘫痪病人的外骨骼机器人,并已应用于患者。
(六)信号采集
开发信号质量高、成本低廉、使用方便的信号采集设备是人们一直关注的重点,也是脑机交互技术产业化的关键。国内电子科技大学、清华大学在自主开发脑电放大器方面取得了重要进展 , 目前已经完成了 8,16,32,64,128通道脑电放大器的开发。中科院自动化所在脑电与光学成像信号联合采集方面也取得了突破,开发出了原型样机,并正在推动成果转化。
(一)国外脑机接口技术的发展
20 世纪 70 年代,Vidal 等最早开始了脑机接口(BCI)方面的研究。从 20 世纪 90 年代开始,伴随着神经科学和计算机技术的发展,BCI 技术的研究已取得了很大进展。特别是在近十年召开了五次 BCI 国际会议,举办了四次国际脑机接口竞赛,促进了 BCI 技术成为国际相关研究领域的热点。脑机接口技术近十年来发展迅速,全世界研究脑机接口的机构和组织从 2000 年的不超过 5 个,到现在全世界大约有超过 300 个从事相关研究的组织,国内研究机构也超过了 50 家。造成这种爆发式增长的原因有几个:第一个原因是功能强大且便宜、便携、实用的硬件设备的出现,包括数据采集设备和计算设备;第二个原因是随着大脑解剖研究的深入和脑成像技术的发展,我们对于大脑的了解越来越多,对大脑内部运行机理和功能区域的认识更加深刻;第三个原因是信号处理和模式识别技术的发展; 第四个原因也是最重要的原因就是强劲的需求,需求不仅来自军事领域,也来自民间市场需求。国际上脑机接口领域目前的主要趋势体现在如下几个方面:
(1)脑机一体化(脑机协同)与混合智能
脑机一体化技术近年受到人们高度关注,例如,在轮椅控制中,人们将脑控与自动驾驶技术结合,发挥它们各自的优势,使它们相互协同[22,23]。还有一类系统是将脑机接口技术与智能假肢或智能机器人整合,实现共享控制[24-27]。2006年,加拿大的Ferreira 等根据 TCP/IP 协议,利用脑电远程遥操作机械臂 SR-800,实现了“取、放”的简单动作[33]。2013年,Garcia等利用脑电控制,实现了UR5机械臂末端抓放桌子上的盒子[34]。约翰·霍普金斯大学的研究人员采用一种多模态脑机接口技术,综合运用脑电信号、计算机视觉反馈、眼追踪技术设计了一个半自主意识控制机械臂系统,可以大幅减轻用户的脑控负担[35]。G. Muller-Putz 等针对严重脊髓损伤患者,开发了脑控智能假肢系统,可以让患者操控假肢完成吃冰淇淋等任务[36]。也有不少科学家致力于使用脑电信号驱动智能康复 机器人[37,38]。在这些脑机协同系统中,人们融合了脑智能和机器智能,实现了混合智能。
(2)临床应用越来越受到关注
目前,脑机接口技术的临床应用研究成果在不断累积,真正应用已经起步。例如,把慢性脑卒中中风病人分组进行康复训练,相比标准治疗组,基于脑机接口机械臂组的运动功能得到了显著的提升[39]。脑机交互的临床应用还体现在其他方面,如用于脊髓损伤残疾人康复的BCI系统研究[36,40],以及基于脑机接口和神经反馈的小儿多动症患者康复研究[41,42]等。
(3)脑信号采集设备可穿戴化
开发信号质量高、成本低廉、使用方便的信号采集设备是人们一直关注的重点,国内外这方面的进展是显著的,特别是在干电极、主动电极、设备的小型化等方面。例如,奥地利g.tec公司已开发出内置放大器的主动电极采集系统,可以有效地避免或减少电极和皮肤之间高阻抗所引起的伪迹和信号噪声,且开发了干电极系统、小而轻的无线信号采集系统,摆脱了线缆的束缚,能够实现完全自由的运动。美国neuroscan公司也推出了多套便携式的无线信号采集系统,还开发出了轻便的脑电放大器,在移动系统中使用更为方便。
(二)我国脑机接口技术的发展
国内的脑机接口研究与国际是完全接轨的,并处于国际先进水平。近年来发表了的大量脑机接口国际权威期刊论文,报道了一批高性能脑机接口系统。
国内脑机接口的研究特色主要包括:在脑机接口脑机制方面,融合脑电与fMRI信号,在脑网络分析与基于实时fMRI的神经反馈方面取得了一系列成果;在SSVEP 脑机接口方面, 建立了系列高效范式与解码算法,取得了国际上最高的信息传输速率;在多模态脑机接口方面,设计了系列有效范式,建立了系列相关系统,在高性能检测与多自由度控制方面取得了实质性进展;在脑机接口的临床应用方面,建立了系列方法与系统,如面向中风病人康复的外骨骼机器人与脑机接口平台,面向脊髓损伤高位截瘫病人的功能辅助系统,面向意识障碍患者的意识检测系统等。在这些方面,中国科学家的成果目前处于国际先进乃至领先水平。
在脑机接口研究应用领域,国内与国外的主要差距体现在:目前市场上的主流信号采集设备还是来自于国外,在电极、信号放大、便携采集设备等方面,国内和国外差距明显;在脑机接口的神经机制方面,国外科学家具有明显优势,国内科学家主要来自工程领域,导致脑机接口的工程特色与优势明显,而国外科学家很多来自神经科学领域,导致脑机接口脑机制研究方面优势明显;国内科学家产出的引领方向的成果还偏少。
2016 年,“脑科学和类脑研究”已被列入“十三五”规划纲要,中国“脑计划”也即将启动,核心问题包括脑与认知、脑机智能和脑健康,这将大大推动脑机接口技术及应用的全面进步。我国脑机接口技术将重点围绕脑机智能和脑健康这两个应用领域,在脑机制研究、低成本高性能便携信号采集设备、关键信号分析与处理算法和应用系统等方面取得突破,最终实现脑机接口的产业化和社会效益。
人们正面临着年龄或其他原因导致的神经 / 精神功能障碍疾病的严重威胁,这些疾病包括中风、老年痴呆、帕金森病、抑郁症及意外事故(如交通事故)引起的四肢瘫痪或缺失等。如肌萎缩侧索硬化症(ALS)和脊髓损伤(SCI)患者,通常会退化到所谓的闭锁(Locked-in)状态而彻底丧失与外界通信联系,脑机交互就可以成为他们与外界交流的可能途径。又如中风患者的运动功能康复,已有证据表明,基于脑机交互的康复模式较传统的康复模式更为有效。脑机交互技术还可以用于精神疾病治疗。研究显示,脑机交互训练可以对小儿多动症、情绪紊乱等病症有一定的治疗作用,而且对一些使用药物无效的病人也有帮助。目前这一领域的研究者认为,脑机交互的操作制约功能以及大脑的可塑性在其中起到了重要作用。特别是意识障碍患者,他们由于严重瘫痪,也不能说话,没有与外界交流的通道。脑机交互技术基于脑信号,可以建立这类病人与外界的直接通信渠道,可以用于这类病人的辅助诊断与康复[38-42]。
脑机交互是一种新型的人机交互技术。在脑机交互系统中,计算设备直接理解人的大脑意图并做出相应动作[38]。该技术通过计算机或其他电子设备,在人脑与外界环境之间建立一条不依赖于外周神经和肌肉组织的全新对外信息交流和控制通道。脑机交互可以理解为双向的脑机接口,它强调脑和机之间的相互作用、相互影响和信息交换。可穿戴技术和设备的兴起为脑机交互提供了一条新的发展思路,其存在形态和应用领域将会得到相应扩展,特别是进入人们的日常生活。脑机交互技术不仅可以实现大脑对外部设备的控制,还可以对用户状态进行检测(如情绪、疲劳度等)和反馈,赋予设备感知用户生理和心理状态的能力以建立更为和谐的人机环境,使设备具有更高、更全面的智能,以终实现真正的脑机一体化。
脑机交互技术近年来在脑信号采集、分析算法、脑机接口范式设计、脑机一体化、临床应用等方面取得了长足进步,每年有大量的研究论文和专利发表,演示系统乃至应用系统不断涌现。但还存在诸多深层次和高难度的问题,包括更加便携安全的脑信号采集设备、系统长时间使用的稳定性、控制命令丰富性及准确性、面向应用的人性化系统设计、反馈与双向问题、临床应用产品等。未来几年,人们将会致力于这些问题的解决与突破, 并将较以往更加有效地推动脑机接口技术的发展、应用与产业化。
来源:中国自动化学会
往期文章推荐
🔗【ASSIA 8】中国自动化学会第8期智能自动化学科前沿讲习班通知
🔗【邀请函】2018世界智能制造大会智领全球高峰论坛之区块链技术在制造业中的应用高峰论坛将于10月13日召开!
🔗【CAC 2018】2018年中国自动化大会“智能自动化新技术” 展览邀请函
🔗【CAA智库】黄琳院士:人工智能时代下关于智能控制的几个问题
🔗【会员服务】中国自动化学会会员:现可免费申请IEEE Xplore数据库及InnovationQ Plus专利检索分析工具试用!