浙江大学吴朝晖：脑机融合系统综述
脑机融合系统综述
吴朝晖*，俞一鹏，潘 纲，王跃明
(浙江大学计算机科学与技术学院，杭州 310027)
摘要 ：脑机接口是生物脑与电脑或机器之间的一种直接连接通路。脑机融合计算系统是一种基于脑机接口技术，综合利用生物智能和机器智能的新型智能融合系统，其在医疗康复、生活娱乐和军事侦查等方面具有巨大的应用开发潜力。本文首先从信息传输的角度简述由脑机接口到脑机融合的发展趋势 ；其次重点阐述脑机融合系统的概念及其研究所面临的挑战，并分三个层次介绍当前若干典型相关工作 ；最后介绍吴朝晖课题组在脑机融合计算系统方面的相关工作。
关键词 ：脑机接口 ；脑到脑 ；脑机融合 ；层次化计算模型
中图分类号 ： Q983.5 ；TP242 文献标志码 ：A
Brain-machine integrated systems
WU Zhao-Hui*, YU Yi-Peng, PAN Gang, WANG Yue-Ming
(College of Computer Science and Technology, Zhejiang University, Hangzhou 310027, China)
Abstract: Brain-machine interface (BMI) is a direct communication pathway between the brain and an external device. Brain-machine integrated systems are a new kind of computational systems based on BMI, which aims to combine living beings’ intelligence and machines’ intelligence. It has a great potential in many applications, such as clinical rehabilitation, entertainment, and military surveillance. This paper presents the advances, trends, and challenges in brain-machine integrated systems, and introduces our work in this emerging field.
Key words: brain-computer interface; brain to brain; brain-computer integration; hierarchical computation model
脑机融合系统综述
吴朝晖*，俞一鹏，潘 纲，王跃明
生物智能与机器智能各有所长，具有很强的互补性。机器智能擅长于海量存储、快速搜索及精确数值计算等，人类智能优于抽象思维、推理、学习等高级智能活动，而动物在环境信息感知、觅食求偶逃生等方面表现出远胜人类的智能行为，如大鼠的空间记忆和蜜蜂导航过程中的路径优化等。脑机接口是连接脑与计算机的双向信息交互通道，通过记录神经元信号解析大脑意图，将解析结果映射为指令从而控制外围设备，同时外围机器端也可以通过脑机接口通道向生物端输入刺激命令或者反馈信息，从而达到驱动生物体的目的，以实现更为精细智能的控制。脑机接口技术在最近20年中日趋成熟，从单向、开环的输出控制模式，发展到双向闭环的互适应交互模式，并正朝着脑机融合的方向前进，脑机融合的计算系统便是在这种背景下应运而生。脑机融合计算系统是基于脑机接口技术的新型智能融合系统，通过脑对机与机对脑的双向信息感知、解析与理解，形成脑与机多层次融合的智能模式，以达到机器智能与生物智能的充分互联。
1
脑机接口
脑机接口(brain-machine interface,BMI)是指不依赖常规的脊髓/外周神经肌肉系统，在脑与外部环境之间建立一种新型的信息交流与控制通道，实现脑与外部设备之间的直接交互[1]。“脑”一词意指有机生命形式的脑或神经系统，而并非仅仅是“mind”，“机”意指任何处理或计算的设备。脑机接口涉及信息科学、认知科学、材料科学和生命科学等领域，对智能融合、生物工程和神经科学产生了越来越重要的影响。脑机接口有多种分类方法，本文从信息传输方向的角度将其分为四类：由大脑到机器、由机器到大脑、由大脑到大脑，以及脑机融合。
1.1 脑到机
该类脑机接口系统的基本原理是：通过脑信号检测技术获取神经系统的活动变化，再对这些信号进行分类识别，分辨出引发脑信号变化的动作意图，再用计算机把思维活动转变成命令信号驱动外部设备，从而在没有肌肉和外围神经直接参与的情况下，实现大脑对外部环境的直接控制。其信息传输方向由大脑到机器。典型应用有：Chapin等[2]用人工神经网络算法将大鼠运动皮层神经集群电信号转换为水泵控制指令，首次实现了大脑对外部设备的直接控制；浙江大学的研究团队成功实现猴子通过脑信号控制机械手完成抓、握、勾、捏四种不同的手部运作[3]；美国四肢瘫痪长达十五年的中风患者Cathy通过意念控制机械手，完成了自己抓取杯子喝水行为[4]。
1.2 机到脑
该类脑机接口系统的基本原理是：通过对生物的大脑或者其他神经系统的特定部位施加精细编码的外部刺激(如微电刺激、光刺激)，来唤醒或控制生物的某些特定感受和行为。其信息传输方向由机器到大脑。根据刺激对象(动物和人)不同，可以将其可以分为两类：动物机器人和神经康复。动物机器人的典型应用有：大鼠机器人[5]、蟑螂机器人[6]、飞蛾机器人[7]。神经康复的典型应用有：康奈尔大学维尔医学院采用中部丘脑刺激方法唤醒了一个脑外伤6年而处于最小意识状态的患者[8]；日本大学医学本部尝试采用深部脑刺激治疗植物状态(vegetative state,VS)的患者[9]。
1.3 脑到脑
大脑与大脑之间的网络通信是通过对一个大脑的神经信号进行实时解码，并将解码结果重新编码后直接传输到另一个大脑，从而对另一个大脑产生作用。其具有带宽小、强实时性，以及安全性要求高等特点。大脑与大脑之间的直接通信可作为一种新型的生物体与生物体之间的交互途径，其对神经康复、脑机协同等方面的研究也具有重要的参考价值。相关研究目前在国际中还比较少见：华盛顿大学的研究者将检测到的实验者A想象右手动的头皮脑电信号转化为经颅磁刺激，作用于实验者B大脑的左运动皮质区，令B的右手向上移动[10]；Seung-Schik等[11]将人脑的稳态视觉诱发电位转化为超声波聚集刺激，作用于麻醉大鼠脑部的特定运动区域，使大鼠的尾巴移动；Pais-Vieira等[12]则构建了一个鼠脑与鼠脑之间的通信网络。
1.4 脑机融合
脑机融合是脑机接口技术发展的必然趋势。在脑机融合系统中，大脑与大脑、大脑与机器之间互相传递信息。大脑与机器两者互相适应、协同工作，把生物脑的感认知能力与机器的计算能力完美结合，生物和机器在信息感知、信息处理、决策判断，甚至记忆、意图多个层次相互配合。脑机融合的相关研究有：2009年，DiGiovanna等[13]设计了基于强化学习的互适应脑机接口系统，利用奖惩机制调节大脑活动，机器采用强化学习算法自适应控制机械臂运动，实现了性能更为优化的机械臂运动控制；2010年，Fukayama等[14]通过提取和分析老鼠的运动神经信号来控制一辆机械车；2011年，Nicolelis团队在Nature杂志上报道了一种新型的脑-机-脑信息通路的双向闭环系统，在对猴子大脑神经信息进行解码的同时将猴子触觉信息转化为电刺激信号反馈到大脑，实现了脑与机的相互配合[15]。
2
脑机融合系统：概念与挑战
脑机融合系统是通过脑机接口技术，以综合利用生物(包括人类和非人类生物体)和机器能力的计算系统。与传统计算系统相比，脑机融合计算系统具有三个显著特征：(1)对生物体的感知更加全面，包含表观行为理解与神经信号解码；(2)生物体也作为系统的感知体、计算体和执行体，且与系统其他部分的信息交互通道为双向；(3)多层次、多粒度的综合利用生物体和机器的能力，达到系统智能的极大增强。
2.1 应用前景
脑机融合的计算系统有两个主要的重大应用：神经康复和动物机器人系统。在神经康复方面，借助脑机融合计算系统，可以直接建立脑与外部设备之间的信息互动与交互控制，高效地实现残障人士机能补偿与功能重建。面向运动功能重建的脑机融合计算系统将为老年人或残疾人提供智能与机能增进技术，提高生活质量，减轻家庭和社会的负担，具有极其重要的社会意义。
在动物机器人系统方面，脑机融合计算系统可以实现对动物运动行为的有效控制以及感知觉功能的合理增强。相比传统机械机器人，动物机器人在能量供给、运动灵活性、隐蔽性、机动性和适应性方面具有更大优势，更加适合在军事重地、核辐射区和灾区等危险场地执行复杂环境搜索、空间检测、反恐侦察等各种任务。以生物智能为主导的脑机融合计算系统，可以巧妙利用传统机器人的计算能力与动物机器人的感认知和执行能力，这在国防安保等领域具有广阔的应用前景。
2.2 面临的挑战
生物智能的引入也为脑机融合计算系统带来极大的挑战。系统构建需要引进多种学科的先进技术，如认知神经科学、材料科学和信息科学等。目前脑机接口技术只能实现简单的信息读出和输入，大脑端和机器端的能力难以做到相互适应、深度融合，主要面临以下挑战[16]。
(1) 如何获取稳定的神经信号。在神经信号获取方面，高通量神经信号的实时获取和预处理是重要挑战，目前国内外已研发了各种微电极、光成像系统来克服这一困难。但是，多点记录问题、信号的长期稳定性，以及对设备的全植入要求依然是很大的难题。
(2) 如何有效地对生物的神经系统进行干预。大脑是一个神经元联接的巨型复杂系统，具有很强的自组织性和自适应性。揭示生物神经系统对客观世界的感知与认知机制，并借助神经接口技术干预生物的神经系统以恢复其功能或控制其行为，仍有许多需要解决的问题。
(3) 如何设计植入式设备并提高其生物兼容性。设备植入通常导致炎症和生物排异性反应，新兴材料和集成微电机系统的发展一定程度降低了植入式设备引起的细胞反应，然而无法解决长期植入带来的生物兼容性问题。
(4) 如何充分融合机器智能与生物智能。机器端的智能可以极大提高脑机融合系统的能力，同样，生物体的接入也能提高系统的各种能力，如何将两者融洽连接在一起，并在智能层面形成合力，相互增强，依然是一个难题。
3
脑机融合系统：典型工作综述
本节将对若干典型的相关工作进行介绍。本课题组最近结合生物与机器感认知方面的相似性，曾提出一个层次化的计算框架[17-18]，如图1所示。在该框架中，生物端包含记忆与意图层、决策层和感知与行为层，机器端包含目标层和知识库、任务规划层和感知与行为层。机器端三个层次的研究在人工智能领域已非常多，下面将重点在如何与生物端进行交互方面，对若干典型研究进行介绍。
3.1 记忆与意图层相关工作
通过对生物的记忆和意图进行影响，可以使生物主动去完成任务，能最大限度地发挥生物的智能。传统影响的方法是基于奖惩机制对生物进行反复的训练，使其学会某种行为，现在主要通过光遗传学的技术手段对大鼠的记忆进行操作，如Berger等[19]将大鼠脑部记忆体的部分功能模块用皮质神经假体替代，以重建和增强大鼠的记忆能力；Ramirez等[20]利用光学及遗传学操作的组合在小鼠的脑子中植入了虚假的记忆，使这些小鼠在特定的条件下产生回忆；Nabavi等[21]通过光遗传学刺激抹去了大鼠的一段恐惧记忆，随后又将其重新激活。
3.2 决策层相关工作
机器端基于对生物行为和神经信号的感知，采用机器学习的方法与生物进行协作。生物端为了得到奖赏，也逐渐学会与机器端协作。Taylor等[22]基于猴子脑部的神经细胞放电的变化，来控制一个假肢在三维空间内移动，以完成特定的任务，猴子完成任务可以得到喝水的奖赏；DiGiovanna等[13]构建了一个共生脑机接口，基于对大鼠脑部的神经信号的变化，采用神经网络和增强学习的方法，让老鼠和机械臂根据指示灯的提示协作完成某个特定的任务，老鼠完成任务也会得到喝水的奖赏。
3.3 感知与行为层相关工作
生物和机器的感知和执行能力各有优劣，通过综合利用生物和机器各自较强的执行能力和感知能力，优势互补，使脑机融合的计算系统具备原来不具备的能力。Thomson等[23]在小鼠头上佩戴一个红外探测器，经过训练，老鼠可以学会探测红外，从而使老鼠拥有原本不具有的红外探测的能力；Wang等[24]在大鼠头上佩戴一个微型摄像头，微型摄像头负责感知(比如目标识别)，大鼠机器人则负责执行，从而探索未知环境。
3.4 本课题组的三个系统实例
近几年本课题组对脑机融合系统进行了深入探索，并建立了若干系统实例。这里对其中三个实例分别简介。
3.4.1 意念控制的四旋翼飞行器
意念控制四旋翼无人飞行器系统[25]通过对头皮脑电信号的解析，识别出三种不同的运动想象动作(想象左、想象右和想象推)和两种不同的表情动作(眨眼和咬紧牙齿)。借助于便携式无线脑式电采集帽(Emotiv)，用户可以用意念(结合表情动作)控制飞行器在三维空间内移动，并借助飞机上的传感器与执行器与周围环境进行交互。该系统可以作为残障人士的日常生活小助理，也可以成为普通大众的娱乐工具。这项工作是脑机融合系统的一个典型实例，系统中人的决策能力与机器的自主决策能力、感知能力和执行能力相互结合。
3.4.2 视觉增强大鼠机器人
生物自身与一般机器人相比，在运动灵活性、平稳性、环境适应性等方面都有着无可比拟的天然优势。本课题组建立的视觉增强大鼠机器人[24]，以大鼠为主要载体，通过搭载摄像头，结合计算机视觉技术，加强大鼠机器人的视觉识别能力。视觉增强的大鼠机器人系统主要包括三个部分：植入电极、鼠载背包和计算模块。鼠载背包上装有一个针孔摄像头，实时拍摄大鼠面前的视频画面，并通过背包上的无线模块将视频传输给计算机上的计算模块分析。根据分析结果，背包上的刺激电路产生刺激电信号传递到大鼠相关脑区，大鼠机器人将产生不同的行为(左转、右转和前进)，从而导航大鼠探索未知环境。在该脑机融合计算系统中，大鼠自身的空间决策能力和执行能力与机器的决策能力(闭环控制)和感知能力(摄像头感知)结合在一起。
3.4.3 脑控大鼠机器人
脑控大鼠机器人系统[27]的使用者佩戴脑电信号采集帽，大鼠机器人携带微型无线摄像头。系统使用者通过观察交互界面上显示的鼠载摄像头视频，做出路径决策(向左走、向右走、向前走)。该决策通过脑电信号解码，无线发送给大鼠机器人。大鼠机器人按照接收到的控制指令行走并探索环境。该脑机融合系统综合利用大鼠机器人在复杂地形的运动能力、微型摄像头对环境的感知能力、计算机的计算能力，以及人类的决策能力等。
4
总结
脑机接口研究已呈现出从脑机接口、脑机交互到向脑机融合的发展趋势，以脑机接口为代表的技术突破为直接利用生物智能、构建集成生物智能与机器智能于一体的脑机融合系统提供了基础手段与可能途径。脑机融合系统的逐步成熟，将对残障人士的运动功能修复和动物机器人等研究，产生革命性的进步，在军事、人工智能、娱乐等方面也具有广阔的应用前景。但要基于脑机接口技术，实现脑机融合系统中两种截然不同的智能体的有效协作及互适应，需要解决机器智能与生物智能的协同感知、认知及执行等问题，需要建立一整套感知和认知的计算新理论与方法。目前脑机融合计算系统的研究还处于初级阶段，期待更多的研究学者加入到这个新兴的研究方向。
[参 考 文 献]
[1] Lebedev MA, Nicolelis MA. Brain-machine interfaces: past, present and future. Trends Neurosci, 2006, 29(9): 536-46
[2] Chapin JK, Moxon KA, Markowitz RS, et al. Real-time control of a robot arm using simultaneously recorded neurons in the motor cortex. Nat Neurosci, 1999, 2(7): 664-70
[3] Zhang QS, Zhang SM, Hao YY, et al. Development of an invasive brain-machine interface with a monkey model. Chin Sci Bull, 2012, 57(16): 2036-45
[4] Hochberg LR, van der Smagt P, Donoghue JP, et al. Reach and grasp by people with tetraplegia using a neurally controlled robotic arm. Nature, 2012, 485(7398): 372-5
[5] Talwar SK, Xu S, Hawley ES, et al. Behavioural neuroscience: rat navigation guided by remote control. Nature, 2002, 417(6884): 37-8
[6] Raphael H, Isao S. Locomotion control of a bio-robotic system via electric stimulation. Intelligent Robots and Systems, 1997. IROS’97., Proceedings of the 1997 IEEE/ RSJ International Conference on, 1997, 3: 1514-9
[7] Bozkurt A, F Gilmour JR, Lal A. Balloon-assisted flight of radio- ontrolled insect biobots. IEEE Trans Biomed Eng, 2009, 56(9): 2304-2307
[8] Schiff ND, Giacino JT, Kalmar K, et al. Behavioural improvements with thalamic stimulation after severe traumatic brain injury. Nature, 2007, 448(7153): 600-3
[9] Tsubokawa T, Yamamoto T, Katayama Y, et al. Deep-brain stimulation in a persistent vegetative state: follow-up results and criteria for selection of candidates. Brain Injury, 1990, 4(4): 315-27
[10] Rao RPN, Stocco A. Direct brain-to-brain communication in humans: A pilot study. 2013
[11] Seung-Schik Y, Hyungmin K, Emmanuel F, et al. Non-invasive brain-to-brain interface (BBI): establishing functional links between two brains. PLoS One, 2013, 8(4): e60410
[12] Pais-Vieira M, Lebedev M, Kunicki C, et al. A brain-to-brain interface for real-time sharing of sensorimotor information. Sci Rep, 2013, 3: 1319
[13] DiGiovanna J, Mahmoudi B, Fortes J, et al. Coadaptive brain-machine interface via reinforcement learning. IEEE Trans Biomed Eng, 2009, 56(1): 54-64
[14] Fukuyama O, Suzuki T, Mabuchi K. RatCar: a vehicular neuro-robotic platform for a rat with a sustaining structure of the rat body under the vehicle. Annual International Conference of the IEEE Engineering in Medicine and Biology Society, 2010
[15] O’Doherty JE, Lebedev MA, Ifft PJ, et al. Active tactile exploration using a brain-machine-brain interface. Nature, 2011, 479(7372): 228-31
[16] 王跃明, 潘纲, 吴朝晖. 脑机交互界面. 中国标准化, 2013
[17] 吴朝晖, 郑能干. 混合智能: 人工智能的新方向. CCF, 2012
[18] Wu ZH, Pan G, Zheng NG. Cyborg Intelligence. IEEE Intelligent Systems, 2013, 28(5): 31-3
[19] Berger TW, Hampson RE, Song D, et al. A cortical neural prosthesis for restoring and enhancing memory. J Neural Eng, 2011, 8(4): 046017
[20] Ramirez S, Liu X, Lin PA, et al. Creating a false memory in the hippocampus. Science, 2013, 341(6144): 387-91
[21] Nabavi S, Fox R, Proulx CD, et al. Engineering a memory with LTD and LTP. Nature, 2014 [Epub ahead of print]
[22] Taylor DM, Tillery SIH, Schwartz AB. Direct cortical control of 3D neuroprosthetic devices. Science, 2002, 296(5574): 1829-32
[23] Thomson EE, Carra R, Nicolelis MAL. Perceiving invisible light through a somatosensory cortical prosthesis. Nat Commun, 2013, 4: 1482
[24] Wang YM, Lu ML, Wu ZH, et al. Ratbot: A rat “understanding” what humans see. International Workshop on Intelligence Science, in conjunction with IJCAI-2013
[25] Yu YP, He D, Hua WD, et al. FlyingBuddy2: a brain-controlled assistant for the handicapped [c]. Ubicomp, 2012
[26] Wu ZH, Yang YC, Xia BC, et al. Speech interaction with a rat. Chin Sci Bull, 2014
[27] Yu YP, Qian CL, Wu ZH, et al. Mind-controlled ratbot: A brain-to-brain system. PerCom, 2014
📚往期文章推荐
🔗【平行讲坛】中科院王飞跃团队详解平行增强学习最新理论框架与案例
🔗Science丨人工设计生命元件迎重大突破！跨膜蛋白三维设计成现实
🔗牛津剑桥解析恶意AI十宗罪，26位技术专家眼里的可怕未来丨附报告下载
德先生公众号 ｜ 往期精选
在公众号会话位置回复以下关键词，查看德先生往期文章！
人工智能｜机器崛起｜区块链｜名人堂
虚拟现实｜无人驾驶｜智能制造｜无人机
科研创新｜网络安全｜数据时代｜人机大战
……
更多精彩文章正在赶来，敬请期待！
点击“阅读原文”，移步求知书店，可查阅选购德先生推荐书籍。
相关内容
微信扫码咨询专知VIP会员