一、应用系统实现:更有效的交流与控制
来源:科技导报
概要:脑机接口(brain-computer interface,BCI)通过解码人类思维活动过程中的脑神经活动信息,构建大脑与外部世界的直接信息传输通路,在神经假体、神经反馈训练、脑状态监测等领域有广泛的应用前景。
脑机接口(brain-computer interface,BCI)通过解码人类思维活动过程中的脑神经活动信息,构建大脑与外部世界的直接信息传输通路,在神经假体、神经反馈训练、脑状态监测等领域有广泛的应用前景。2017年可以说是脑机接口发展的新起点,在近年来一系列脑机接口相关科学研究突破的推动下,脑机接口技术开始走向成熟,正在得到工业界越来越多的关注和投入,例如,创业领域领军人物Elon Musk等投资创立面向神经假体应用和未来人机通信的脑机接口公司Neuralink,互联网领域领军企业Facebook宣布开始研发基于脑机接口的新一代交互技术。这些行动引起了热烈讨论,也将促进脑机接口技术进一步的加速发展。本文立足于2017年脑机接口研究动态,首先介绍脑机接口在应用系统实现方面所取得的年度重要成果,随后介绍应用关键技术研究的新进展,最后对未来发展趋势进行展望。
一、应用系统实现:更有效的交流与控制
字符输入
让重度运动障碍患者重获与外界交流沟通的能力,是脑机接口的最重要应用目标之一。继近年来基于头皮脑电的字符输入研究取得突破性进展之后,2017年2月,美国斯坦福大学的研究团队报告了一项利用颅内脑电进行字符输入的高性能脑机接口应用系统。在该系统中,研究者在脊髓侧索硬化症和脊髓损伤瘫痪患者的运动皮层负责手部运动的区域植入高密度微电极阵列采集动作电位和高频的局部场电位,解码这些电极上的神经活动信息实现对屏幕上二维光标的连续控制以及字符选择的“点击”动作,从而让患者实现通过屏幕虚拟键盘输入文本与外界交互(图1)。3 位使用该系统的瘫痪患者分别实现了每分钟39.2、31.6、13.5个英文字符的输入,这也是目前在运动障碍患者中所实现的最快信息传输速率。与头皮脑电相比,植入颅内的电极所得脑电信号的信噪比更高、信号更稳定,在面向瘫痪病人的脑机接口的临床应用方面有独特的优势。该研究发表在神经科学与神经工程领域的前沿期刊《eLife》上。
图1 一位脊髓侧索硬化症患者通过脑机接口系统进行字符输入
动作控制
控制轮椅、机械手臂等动作辅助装置对于提升重度运动障碍患者的生活质量有着与字符输入同等重要的意义,也是脑机接口领域的重点研究方向。2017年5月,来自美国凯斯西储大学的研究团队在国际领先的临床医学期刊《The Lancet》上发表的研究则在这个方向上更进一步。他们将脑机接口与功能电刺激技术结合起来,使患者可以控制自己原本瘫痪的肢体与外界进行动作交互。
功能电刺激(functional electrical stimulation,FES)是一项通过对外周神经和肌肉组织施加电刺激,使得高位截瘫患者能够重获四肢运动能力的技术(图2(a))。该项研究中,研究者通过植入式脑机接口系统将直接提取创伤性高位颈脊髓损伤患者位于运动皮层负责手部运动区域的脑神经信号,以高频带的频谱能量和动作电位超过阈值的次数为特征,解码出对应的功能电刺激器的刺激参数,控制功能电刺激器,对患者已瘫痪的手臂输出电刺激引发肌肉活动。患者在经过一定时间的训练后可以实现探出(reach)和抓取(grasp)的动作,在测试阶段,患者在12次尝试中有11次成功实现了使用自己已瘫痪的胳膊和手掌完成喝咖啡任务(图2(b)),每次任务时间在20~40 s。该脑机接口系统能够帮助患者实现连续的动作控制,接近实际生活中的动作模式,有望在未来帮助患者实现对瘫痪肢体的自然流畅动作控制,从而大大提升患者的生活品质。
图2 结合颅内脑机接口与功能电刺激实现患肢闭环控制
基于脑机接口的动作控制应用不仅可以服务于用户的控制需求,还可能有更多的医学意义。幻肢痛是一种病人对他们不存在或者已经瘫痪的四肢感觉到疼痛的疾病,目前尚无有效治疗方案。日本大阪大学的研究团队发现利用脑机接口训练使得幻肢在感觉运动皮层的表征减弱,可以有效地减少幻肢的疼痛感,脑机接口训练有望成为一种可面向临床的幻肢痛治疗手段。该研究成果发表在《Nature Communications》期刊上,并获得2017 年度脑机接口研究奖(2017 Annual BCI Award)第3名。
完全闭锁状态患者信息输出
脊髓侧索硬化患者是脑机接口系统的重要目标患者群体。脊髓侧索硬化症,又称渐冻症,发展到最严重的情况时,患者将完全失去对所有肌肉的控制能力,这种情况被称为完全闭锁状态(completely locked-in state,CLIS)。现有脑机接口系统往往部分依赖患者的残留神经与肌肉控制能力,无法适用于这样的患者。2017年1月,来自德国蒂宾根大学的研究团队基于功能近红外脑功能成像,实现了首个可应用于CLIS患者的脑机接口系统。研究者通过分析功能近红外采集到的额叶中部血液含氧量变化进行分类,4名患者经过数周训练后,可以对一系列语音呈现的问题通过调节脑神经活动模式来回答“是”或“不是”,正确率在70%左右。该项工作发表在《PLoS Biology》期刊上。
二、应用关键技术进展:新硬件、新算法、新范式
新硬件
脑机接口实用化系统的构建对脑神经信号采集与处理设备的小型化、无线化提出了高要求。虽然目前已有不少基于脑电的小型化设备推出,但是能同时采集多种神经生理信号的小型化硬件还不多见。2017年6月,德国柏林工业大学的脑机接口研究团队发布了一款可同时采集脑电、功能近红外脑功能像,以及其他常规生理参数(如心电、肌电和加速度等)的无线模块化硬件架构(M3BA:a mobile,modular,multimodal biosignal acquisition architecture),其中每个M3BA模块(不含电池)的边长仅为42 mm(图3)。这是首个同时兼备了模块化、可移动化、小型化、多模态和可扩展性的多生理参数采集架构,对实现脑机接口技术走向实际应用具有积极意义。
图3 M3BA概念图
信号采集是制约脑机接口从实验室走向现实生活应用的重要因素。对基于头皮脑电的无创脑机接口而言,湿电极方案的脑机接口系统需要花费较长时间准备导电膏,使用后需要清洗头发;而以往的干电极系统主要采集前额区域脑电信号,所得解码的大脑状态少且准确率低,实际使用场景有限。美国加州大学圣迭戈分校的研究团队在《IEEE Transactions on Neural Systems and Rehabilitation Engineering》报道了一种将电极放置在耳后无毛发覆盖区域的稳态视觉诱发电位脑机接口系统,并在一个12分类任务中,达到了85%左右的分类正确率,信息传输率达到30 bit/min左右(图4(a))。这一研究进展对于普通健康人群在日常生活情境中便捷采集脑电并高效使用脑机接口提供了可行性支撑。相应的,基于耳后电极的脑机接口商业硬件现在开始出现(图4(b)),有望推动相关应用快速走向市场。
图4 耳后脑电采集位点新尝试
新算法
如何提高信息传输速率一直是脑机接口研究领域的重要话题。受到脑神经信号信噪比低等因素的限制,脑机接口的信息传输速率,相比于正常输出通路(即外周神经和肌肉组织)一直较低,如经典的P300脑机接口字符拼写系统的信息传输速率约为0.5 bit/s。2015年国内清华大学及合作研究团队报告了基于稳态视觉诱发电位的高速脑机接口系统,实现了4.5 bit/s的通信速率。2017年,中国科学院半导体研究所及合作研究团队取得进一步突破,提出任务相关成分分析算法,将稳态视觉诱发电位脑机接口的通讯速率进一步提升到5.4 bit/s,最优结果达到6.3 bit/s,是目前已有报道的最快头皮脑电脑机接口系统,有望推动脑机接口应用在普通健康人群的日常生活中。该项工作发表在《IEEE Transactions on Biomedical Engineering》上。
此外,丹麦奥尔堡大学研究团队提出了一种可以实时监测受试者注意力变化并进行自适应特征提取的在线脑机接口算法,该算法在长期使用中依然保持良好性能。该成果获评2017年度脑机接口研究奖(2017 Annual BCI Award)第1名。
新范式
基于视觉诱发电位的脑机接口是当前信息传输速率最高的脑机接口类型,目前所报道的该类型系统中,每一个指令对应一个特定视觉编码(时间、频率或伪随机编码等),通过解读该编码所诱发的特定脑电响应来实现目标识别。2017年,德国汉堡大学的研究团队提出基于空间信息编码的稳态视觉诱发电位脑机接口新范式,仅使用一个稳态视觉刺激物实现多个注意目标的识别。该新范式基于视皮层视网膜映射原理实现,用户注意该视觉刺激的不同空间方位时,所诱发的脑电响应的空间模式不同,离线9方位的分类正确率达到95%左右。随后,汉堡大学与清华大学合作实现了一个4分类的在线系统,在一个实际二维运动控制游戏中实现了90%左右的在线分类性能。在这样的范式中,由于不需要直视稳态视觉刺激物,用户视觉负荷较低,用户体验更好;同时,该设计对计算机屏幕的使用也较经济,可以较好的被整合在更自然或复杂的应用背景中,有较好的实用前景。
想象运动是脑机接口中常用的另一个主要范式类型,但如何进行有效的想象运动任务训练尚无标准化的解决方案。国内华东理工大学研究团队提出让用户想象用手书写汉字作为想象运动任务范式,取得了显著高于传统范式的分类性能。该范式针对国内用户群体特点进行范式任务设计,为脑机接口在中国的推广应用提供了很好的思路。
三、发展趋势与展望
机器学习算法与数据规范化
以深度学习为代表的新一代机器学习算法正在得到脑机接口领域研究者越来越多的关注,有望减轻研究者进行神经数据特征提取的工作负担,并同时保持优秀的分类性能。值得一提的是,国内上海交通大学、华南理工大学、西安交通大学等高校的研究团队在脑机接口情绪识别、P300脑机接口注意目标识别、想象运动分类等方面已经取得了不错的成果。
由于新兴机器学习算法的分类器结构相对复杂,对数据量提出了更高的要求。在这样的背景下,几个领先的脑机接口研究团队开始推动数据规范化与开放共享:清华大学与中国科学院半导体研究所的联合研究团队发布了一套具有35名受试者与40种刺激频率的稳态视觉诱发电位脑机接口标准数据集;德国柏林工业大学的研究团队则推出了同时采集脑电与近红外脑功能影像信息的混合脑机接口数据集,包括29名受试者的数据,包含想象运动、心算等经典脑机接口任务。上述数据集都可供全球研究者免费下载使用,对促进脑机接口领域的算法研究有积极意义。
脑机接口与神经伦理
随着脑机接口技术逐步走向成熟、走近应用,这项技术可能引发的伦理问题也开始引起越来越多的关注和讨论。2017年11月,25位脑机接口、神经工程与人工智能领域研究的知名学者联名在《Nature》期刊发表评论文章,提出了神经工程技术发展中的4个主要伦理问题。首先是隐私问题,相比于其他生理参数,神经信号携带了更为丰富的个人信息,如何对用户的个人隐私进行保护,需要在发展相关技术时着重考虑;其次是身份认定,对于长期植入脑刺激器的群体,如何判定其行为是受自身支配还是受设备支配,在道德和法律层面都需要界定;再次是强化问题,若利用神经工程技术打造能力强于常人的超级特工用于战争,是否违反社会准则;最后是偏见问题,如何建立可兼顾各群体利益的、相对公平的技术发展准则,如果存在某种根植于神经设备中的偏见,可能引发严重社会问题。
机遇与挑战
2017 年是脑机接口领域充满机遇的一年。据估算,目前美国每年有近1亿美元投入到脑机接口及其他神经工程相关领域,并且这个数字还在不断地增长。除了Neuralink、Facebook为代表的工业界关注之外,各国政府也对该技术给予了高度重视。美国、欧盟、日本以及中国的脑计划都将为脑机接口提供关键神经生理基础与关键技术方法支撑;而美国国防高级研究计划局(DARPA)发布了名为神经工程系统设计(Neural Engineering Systems Design)的新项目,提出实现一种能同时用100万个电极记录脑神经信号并可有选择地激活10万个神经元的无线脑部植入设备的目标(图5)。
图5 一种无线脑部植入设备的概念图
脑机接口领域同样还面临着许多挑战。2017年10月,《IEEE Transactions on Neural Systems and Rehabilitation Engineering》上发表了IEEE Brain Initiative Special Issue on BMI/BCI Systems 的特刊,所配编辑评论文章中总结了脑机接口领域当前需要解决的几个重大问题,包括脑机接口系统如何在日常应用中保持性能稳定,如何设计并实现多通道、低功耗、长使用寿命的无线脑电植入设备,如何将脑机接口推向临床实践等。伴随着持续增加的人力和经费投入,脑机接口研究者们已经在为实现未来理论和技术的重大突破积极准备着。
文 / 张丹,陈菁菁,王毅军
作者简介:张丹,清华大学社会科学学院心理学系,特别研究员,研究方向为脑机接口与社会神经科学;陈菁菁,清华大学医学院生物医学工程系,博士研究生(共同第一作者),研究方向为脑机接口。
未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。由互联网进化论作者,计算机博士刘锋与中国科学院虚拟经济与数据科学研究中心石勇、刘颖教授创建。
未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。
如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”