脑机交互研究及标准化实践

2018 年 9 月 22 日 人工智能学家

来源：人机与认知实验室

摘要：本文介绍脑机交互的概念及标准化的必要性，讨论近年来脑机交互的发展状况，重点阐述国内外植入式脑机接口的研究历程，并从脑机交互系统角度提出了脑机交互标准化的思考，同时介绍在脑机交互计算标准化方面的相关实践。

1 脑机交互概念及标准化

脑机接口(Brain-Machine Interface，BMI) 是指不依赖常规的脊髓/ 外周神经肌肉系统，在脑与外部环境之间建立一种新型的信息交流与控制通道，实现脑与外部设备之间的直接交互[1]。

脑机接口涉及信息科学、认知科学、材料科学和生命科学等领域，对人工智能、生物工程和神经康复等产生了越来越重要的影响。通过脑机接口技术实现脑与外部设备的交互，则称为脑机交互。脑机交互是全新的人机交互方式，有望推动对大脑的更深入研究，并促进大脑智能和外部机器智能的融合增强( 混合智能)，具有重大研究价值和应用前景。脑机交互中设备复杂、数据差异大、计算方法多样化，对脑机交互系统关键步骤进行标准化有助于规范脑机交互系统的构建、降低本领域研究的门槛，切实推动脑机交互的发展。

2 脑机交互的最新研究现状

根据获取脑信号方式的不同，可以将脑机接口分为植入式和非植入式两种。非植入式脑机接口直接从大脑外部获取脑信号，所记录的脑信号信息量较小、时间分辨率比较低，只能用来执行简单的操作控制，比如拨打电话、轮椅控制、运动假肢控制、打字等[2]。植入式脑机接口通常通过在大脑中植入芯片以获取脑信号，相对于非植入式信号，植入式脑信号在时间和空间分辨率更高，记录的信息量更加丰富，可以实现更复杂的控制。

2.1 非植入式脑机接口

非植入式的装置很方便佩戴于人体，但需要突破颅骨对信号的衰减作用和对神经元发出的电磁波的分散和模糊效应。典型的非植入式脑机接口采用的信号包括EEG 和P300 信号[3]。EEG 信号有着良好的时间分辨率，采集设备易用、便携，价格相对低廉。

这方面研究的一个典型例子是德国图宾根大学的Niels Birbaurmer 于1990 年进行的项目，该项目利用瘫痪病人的脑电图信号使其能够控制电脑光标，经过训练，十位瘫痪病人能够成功地用脑电图控制光标[4]。基于P300 的非植入式脑机接口典型例子是美国罗切斯特大学的Jessica Bayliss 的一项研究，受试者可以通过P300 信号控制虚拟现实场景中的一些物体，例如开关灯或者操纵虚拟轿车等[5]。

由于非植入信号的无创性，产业界也踊跃开发非植入式脑机接口应用系统，如图1 是日本本田公司生产的意念控制机器人，操作者可以想象自己的肢体运动来控制身边机器人进行相应的动作。近年来，国内清华大学、华南理工大学、电子科技大学、上海交通大学、浙江大学等均成立课题组投入非植入式脑机接口研究，并取得了一系列重要进展。

提取神经信号建立植入式脑机接口系统。Nicolelis 领导的研究小组采集了夜猴运动皮层神经电信号，对神经信号进行解码对远程机器臂进行实时控制( 开环控制)，成功实现了“Monkey Think Robot Do”的神奇演示[6]。此后，Nicolelis 小组又成功开发了闭环机器臂控制脑机接口系统。同时，美国Pittsburgh 大学 Schwartz 实验室研究人员将微电极植入运动受限的猴子运动神经皮层，获取运动相关的神经电活动，并训练猴子利用思维活动控制机器臂( 图2) [7]。

2006年，美国布朗大学在瘫痪病人上实现脑电控制假肢[8]，这是脑机接口的首次临床应用，具有里程碑的意义。Donohue 教授领导的研究人员在人脑中植入了芯片，直接控制电脑的光标，并用电脑控制其他设备。其他在植入式脑机接口方面取得比较成功的实验包括：2012 年，美国西北大学Miller教授实现了功能性电刺激控制瘫痪肌肉[10]；2012年，美国匹兹堡大学实现人脑ECoG 信号控制机械手[11] 等。

图1 日本本田公司生产的用意念控制的机器人

图2 猴子脑思维控制机器臂进食

2.2 植入式脑机接口

植入式脑机接口能直接获取大脑皮层的神经集群信号，信息量大、时空分辨率高，锋电位(Spike)信号解码能够实现对外部设备多自由度的实时、精确控制。自本世纪以来，Nature 和Science 等报道了一系列侵入式脑机接口的重大研究成果[6-8, 10-11]，相关研究促进了人们对神经系统的认识，建立了大量复杂信息处理方法，极大地推动了神经、信息与认知等学科的发展。

典型的植入式脑机接口系统包括：2000 年，杜克大学的Miguel 和Nicolelis 用在大脑皮层植入电极，2005 年以后，我国植入式脑机接口研究取得了重要的进展，尤其是浙江大学求是高等研究院郑筱祥教授领导的团队，已经成功在非人类灵长类动物上建立了脑机接口系统，实现了利用脑电信号对机械假肢的实时控制。猴子可以通过意念直接控制机械手完成抓、勾、握、捏四种不同的抓握手势，正确率达到85% 以上[12]。

3 脑机交互标准化思考及实践

3.1 脑机交互标准化思考

完整的脑机交互系统包括神经信号的采集、实验的范式设计、神经信号的解码、智能机器的控制等。当前，脑机交互系统在以上关键四步骤均存在很大的差异性，导致构建脑机接口和交互系统过程复杂、系统性能评估困难、难以推广。

考虑在脑机交互系统中提炼共性部分，建立交互标准具有重要意义，其中：神经信号的采集涉及到采集脑神经信号的设备标准以及所采集信号数据的表征标准；信号的解码涉及预处理、训练、测试等步骤，对应着解码算法的输入标准和解码算法标准；智能机器的控制涉及控制输入数据标准以及控制的设备和控制接口标准等。

具体应考虑以下标准化重点 [2]：

(1) 神经信号的采集设备标准。主要指采集spike、ECog、LFP 等脑电信号的植入式设备，需要根据所采集的不同信号对设备的材质、安全性等建立统一的标准。

(2) 神经信号的数据表示标准。由于不同信号的采集设备所采集的信号具有差异性，不同的实验人员对所采集的神经信号进行不同的信号预处理，所产生的神经信号也具有差异性，这种差异性加大了评估解码系统性能的难度。因此，神经信号的数据表示标准的制定显得尤为重要。

(3) 实验范式标准。指实验对象在实验过程中所遵循的行为规范模式，神经信号的提取便是在实验对象进行实验范式的过程中进行的，通过规范实验范式，有利于规范神经信号数据。

(4) 解码算法标准。主要是解码算法接口的标准化，这样有利于提高脑机交互系统的可扩展性，只需要按照标准的解码算法接口设计，便可方便脑机交互系统加入新的解码算法。

(5) 智能机器的控制接口标准。由于生产脑机交互的智能机器的硬件厂家很多，导致对智能机器的控制接口也错综复杂，因此制定统一的智能机器控制接口标准更能方便脑机交互系统的开发。

(6) 反馈信息输入标准。反馈信息的输入是双向脑机接口必须要解决的重点与难点，对信息输入进行标准化可以使得整个脑机交互系统更加稳定。

(7) 多模态信息的表征标准。主要指视觉、听觉、触觉等感觉信息的表征，有利于信息反馈的输入更加具有一致性。

3.2 脑机交互计算标准化实践

针对以上脑机交互标准化的思考，浙江大学计算机学院脑机融合研究团队正着手设计脑机交互计算部分的标准化系统和标准化建议。当前已有的脑机交互计算系统包括BCI2000、BCILab、OpenViBE、BioSig、FieldTrip 以及佛罗里达大学的DDDBMI 等。其中，BCI2000 是一个在线软件平台，以软件套件的形式提供服务，具有数据采集，脑电信号处理、学习及反馈等功能。BCILab 则以Matlab 的工具箱的形式呈现给用户，提供的服务包括：信号采集、特征提取、机器学习、BCI 范式、在线插件等。

OpenViBE 与BCI2000 类似，同样以软件套件的形式呈现，通过由用户定制场景的方式提供BCI 信号的处理和可视化。BioSig 兼容各种主流平台，提供了Matlab 与Octave 工具箱，也提供了C/C++、Python 等编程语言下的函数接口库，专门提供生物医学信号处理，涵盖神经、脑机、心血管等，可以用来进行信号采集、处理、分类以及建模与可视化。DDDBMI 是最有代表性的脑机交互计算平台，其目标是设计一个自适应的中间件与工作站，能够管理实验信号采集、闭环机器学习、数据分析、在线解码等所有与其相关的工作。

DDDBMI 已开发了部分中间件功能模块，其服务包括提供实时操作的闭环机器学习系统。目前，DDDBMI 已开发了一个支持在线/ 离线实验的工作站，内含一个分布式计算系统，方便远程和本地用户参与的在线和离线实验计算根据需求动态分配资源。

现有的脑机交互计算系统存在以下不足：绝大多数系统仅针对1-2 类数据来实现相关的信号处理算法，可扩展性、可配置性较差。

因此，设计开发一个更普式的脑机交互计算标准平台十分必要，该系统解决以下问题：

(1) 数据表示不统一、解码算法设计不一致，导致无法对解码算法性能进行有效的对比；

(2) 实验范式设计复杂，负责设计与计算的通常不是同一个人，如何将范式的设计模块独立出来，以最大化不同人员的优势；

(3) 对于一些计算量较大的任务，应该考虑使用分布式架构。

为此，我们设计了一个统一数据表示方式、支持分布式计算、支持算法组件可配置、支持算法组件可扩展、同时支持在/ 离线任务的脑机交互计算标准平台。

图3 显示了脑机交互计算标准系统的架构。

用户可以使用拖拽的形式选择数据输入模块、预处理模块、算法训练模块以及测试模块等，然后配置相关实验参数，点击执行，计算系统便立刻自动检测相关模块、数据依赖，将计算任务交给后台进行处理，对于离线任务可以进行分布式以提高计算性能，同时实时将中间结果传递给前端界面以提供数据的可视化分析的功能。对于需要扩展的算法，只需要按照所提供的算法模块的接口进行实现即可。

参考文献：

[ 1 ] M . L e b e d e v , M . N i c o l e l i s . B r a i n - m a c h i n e interfaces: past, present and future[J]. Trends in neurosciences, 2006, 29(9): 536-546.

[2] 王跃明, 潘纲, 吴朝晖. 脑机交互界面[J]. 中国标准化, 2013 增刊: 99-102.

[3] A. Hammock. The future of brain controlled devices[OL]. [2015-03-31]Available:http://www.cnn.com/2009/TECH/12/30/brain.

[4] W. Lutzenberger, N. Birbaumer, H. Flor,et al. Dimensional analysis of the human EEG and intelligence[J]. Neuroscience Letters, 1992,143 (1-2): 10-14.

[5] Jessica D. Bayliss, Dana H. Ballard. Single trial P3 epoch recognition in a virtual environment[J].Neurocomputing, 2000(1-4): 637-642.

[6] J. Wessberg, C.R. Stambaugh, J.D. Kralik, et al.Real-time prediction of hand trajectory by ensembles of cortical neurons in primates[J]. Nature, 2000, 408: 361-5.

[7] D.M. Taylor, S.I. Tillery, and A.B. Schwartz.Direct Cortical Control of 3D Neuroprosthetic Devices[J]. Science, 2002, 296(5574): 1829-32.

[8] M.D. Serruya, N.G. Hatsopoulos, L. Paninski, et al.Instant neural control of a movement signal[J].Nature, 2002, 416 (6877): 141.

[9] L. R. Hochberg, M. D. Serruya, G. M. Friehs, et al,Neuronal ensemble control of prosthetic devices by a human with tetraplegia[J]. Nature, 2002,

442(7099): 164-171.

[10] C. Ethier, E. R. Oby, J. J. Bauman,et al. Restoration of grasp following paralysis through brain-controlled stimulation of muscles[J]. Nature, 2012, 485(7398):368-371.

[11] T. Milekovic, J. Fischer, T. Pistohl, et al. An online brain–machine interface using decoding of movement direction from the human electrocorticogram[J].

Journal of Neural Engineering, 2012, 9(04): 046.

[12] Y. Hao, Q. Zhang, S. Zhang, et al. Decoding grasp movement from monkey premotor cortex for real-time prosthetic hand control[J]. Chinese

Science Bulletin, 2013(58): 2520.