浙江大学吴朝晖、潘纲丨脑科学的新手段新技术：信息+系统+智能视角

本文发表于《科学通报》, 2015年第60卷第10期：912~916

本文版权归原作者所有，如有侵权，请联系我们删除！

脑科学的新手段新技术: 信息+系统+智能视角

吴朝晖* , 潘纲*

浙江大学计算机科学与技术学院，杭州 310027

* 联系人, E-mail: wzh@zju.edu.cn; gpan@zju.edu.cn

摘要：随着各种测量大脑活动与行为的新技术、新手段的出现，脑科学研究得到了快速发展，脑科学与信息技术的深度结合正成为未来发展的重要趋势与研究热点。本文从信息视角、系统视角和智能视角对脑科学研究与信息技术交叉融合进行了若干思考，并提出一些见解。

 

关键词：脑科学、脑机融合、混合智能

 

引用格式: 吴朝晖, 潘纲. 脑科学的新手段新技术: 信息+系统+智能视角. 科学通报, 2015, 60: 912–916

Technologies for brain sciences: The perspectives of information, systems, and intelligence

WU ZhaoHui & PAN Gang

College of Computer Science and Technology, Zhejiang University, Hangzhou 310027, China

Abstruct：In the recent years, brain science has achieved great progresses with assistance of new emerging online technologies of measuring brain functions and activities. Particularly the information technology is playing a critical role in the brain research. In this paper, we discuss the integration of the brain and machines with the three perspectives: information, system, and intelligence. From the information processing perspective, the brain-machine-integrated system will be bi-directed and close-looped; from the system perspective, it will be hierarchical and multi-scale; from the intelligence perspective, it will be deep integration of biological and machine intelligence. The emerging complex brain-in-loop system will give a good opportunity for not only the neuroscience community but also the information technology community.

Key words：brain science, brain-machine integration, cyborg intelligence

Wu Z H, Pan G. Technologies for brain sciences: The perspectives of information, systems, and intelligence (in Chinese). Chin Sci Bull, 2015, 60: 912–916, doi: 10.1360/N972014-01376

doi: 10.1360/N972014-01376

脑科学主要研究人与动物的脑结构与脑功能，阐明大脑的工作机制。近年来，随着各种不同层次测量大脑活动与行为的新技术、新手段的出现，神经科学研究得到了快速发展。不管是在分子水平、细胞水平，还是在神经网络与神经回路水平，或系统和整体水平，都取得了重要突破，使人们更加清楚地了解神经系统物质、能量和信息的活动规律与基本机制。

 

脑科学与信息技术的结合发展正成为重要趋势：(ⅰ)脑科学研究大量借助信息手段；(ⅱ)一些信息技术的发展也利用脑科学研究成果。由于信息手段的介入，近年来国际上正兴起新一轮的脑科学研究热潮。例如，2013年初，欧洲联盟启动投入超过10亿欧元的人脑10年计划，主要目标是从基因活性到神经细胞间的相互作用等基础出发，用超级计算机对人脑功能进行精细建模与模拟，构建基于硅的大脑；不约而同，2013年4月，美国也宣布启动预计将投入超过10亿美元的脑计划，目前主要目标是研发新技术测量大脑每个神经活动及连接，绘制大脑活动全图。脑科学和未来信息计算的结合发展，必将催生脑信息大数据计算、新型计算理论、新式信息技术平台、以及更多的新型应用。

 

1 脑机融合

 

随着脑科学与信息技术的进一步交叉，脑与机器的融合正成为未来发展的重要趋势与研究热点。近十几年脑科学研究与信息技术的交叉发展，大致呈现为3个阶段：(ⅰ)前10年研究更多是从生物角度认识脑，包括从细胞结构、神经元连接、脑区交互以及大脑整体等不同层次进行研究；(ⅱ)近10年则兴起了从工程角度利用脑的研究，利用脑机接口技术[1]建立脑和信息科学之间沟通的桥梁；(ⅲ)而下一个10年，正出现从信息角度融合脑的重要趋势，新的脑数据、计算理论及各种应用将不断涌现。

 

脑机接口可看作是脑机融合的初级阶段。随着脑与信息科学的进一步融合，早期的单向、开环形式的脑机接口，逐渐过渡到双向、闭环形式的脑机交互，并将进一步发展到脑与机深度结合、相互依赖的脑机融合阶段。脑机融合可有多种表现形式，包括感知觉功能增强、生物智能与机器智能的融合及运动功能重建等。脑机融合不仅是脑科学研究与信息科学交叉的突破口，也是认识脑、保护脑、创造脑的重要途径。

 

2 信息视角：双向闭环

 

从信息视角看，脑机融合系统是一个典型的信息处理系统。借助光电磁等各种技术，能够从大脑中获取丰富的脑活动信息，并交由计算机对信息进行分析，然后根据分析结果采用相应的光电磁等各种刺激与调控途径，多模态地反馈至大脑中。这将是一个典型的双向闭环系统。在此视角下，脑机融合系统的瓶颈在于对脑信息获取的准确性、信息处理的高效性、以及信息输入的有效性。

 

2.1 脑信息的获取

 

脑信息的在体获取手段方法多种多样，以下列举部分较为成熟的技术。(ⅰ)脑电图(electroencephalography，EEG)、皮层脑电图(electrocorticogram，ECoG)、脑磁图(magnetoencephalogram，MEG)等方法采集大脑自发产生的电场与磁场，并将采集的信号作为分析大脑工作的依据；(ⅱ)核磁共振成像(magnetic resonance imaging，MRI)和磁共振波谱(magnetic resonance spectroscopy，MRS)等方法通过记录大脑内水分子与特定化学成分在强磁场中的不同表现来判断大脑不同区域的结构组成；(ⅲ)功能性核磁共振(functional magnetic resonance imaging，fMRI)和功能性近红外光谱成像(functional near-infrared spectroscopy，fNIRS)等方法利用大脑活动时不同功能区域的血氧浓度差异来定位与特定功能相关的脑区；(ⅳ)正电子发射成像(position emission tomography，PET)和单光子发射计算机断面成像(single-photon emission computed tomography，SPECT)等方法利用大脑不同区域葡萄糖代谢水平的不同，来判断脑区之间的活跃程度。

 

脑信息的获取手段虽然日益丰富，但是信息的时空分辨率亟待进一步提高。图1是部分脑信息的在体获取方法的时空分辨率以及对生物体的侵入程度。从图1可以看出，当前的脑信息获取方法虽然可以达到较高的时空分辨率，但是与细胞水平的空间尺度以及神经元电位变化的时间尺度之间依然存在差距。因此，实现脑机融合仍需要脑信息提取手段在时空分辨率上进一步提高。

图 1 (网络版彩色) 部分脑信息在体获取方法的时空分辨率及侵入性比较

Figure 1 (Color online) Comparison of typical brain imaging technologies

2.2 脑数据的处理

 

脑科学大数据的处理亦构成脑机融合的一大挑战。据统计，大鼠(Rattus norvegicus)脑内约包含1万亿个突触连接1亿个神经元，而人脑内包含约1000亿个神经元与1000万亿个突触，是大鼠脑的1000倍。从生物组织看，数据量更大，仅1mm³的脑组织即可产生2000TB的电子显微镜数据，1个小鼠(Mus musculus)大脑可产生60PB数据，而人脑可产生高达200EB数据。

 

与脑信息大数据形成鲜明对比的是，传统冯诺依曼计算机的发展正面临着“内存墙”与“功耗墙”等难题。多核体系架构的出现虽然一定程度上减缓了压力，但在同等条件下计算能力的提高将带来越来越高的系统复杂性。

 

人脑与传统冯诺依曼计算机相比，在处理海量数据上展现了无与伦比的优势：(ⅰ)人脑可以与外界交互自主学习，无需显式编程；(ⅱ)人脑能够容忍部分神经元死亡或萎缩，具有高度可塑性与系统容错性；(ⅲ)人脑拥有1011个神经元及1015个突触，存在巨大的并行性及高度的连接性；(ⅳ)人脑拥有100Hz的低运算频率以及每秒几米的低通信速度，仅需约20W的功耗，而基于传统冯诺依曼体系结构建造一个与人脑复杂程度相等的计算机则需要近100MW的能量。

 

正是由于人脑在处理大数据问题中显现的各种优势，以人脑为原型的类脑芯片在近几年成为研究热点[2]，类脑计算成为处理大数据的新方向之一。构建类脑计算机不仅有助于更加高效地处理、利用海量脑数据，从而更好地实现脑机融合，还有助于加深对大脑工作机理的理解，从而进一步完善类脑芯片的设计与实现。

 

2.3 脑信息的输入

 

脑机融合不仅要求获取并解读脑信息，还需要计算机能够将信息编码后传入生物体，以此来调节、增强、甚至控制生物体的部分功能，达到感知觉与智能增强及运动功能重建等目的。

 

目前已有较多应用借助脑信息的输入达到智能增强与运动重建的目的，典型的应用包括各类动物机器人[3~6]，人类利用脑刺激进行神经康复的案例[7，8]等。

 

过去脑机接口系统的信息传输方式大多数为单向形式。2011年，Nicolelis团队[9]在Nature杂志上报道了一种新型脑-机-脑信息通路的双向闭环系统，在记录猴子大脑神经信息进行解码的同时将猴子触觉信息转化为电刺激信号反馈到大脑，真正实现了脑机交互。

 

利用大脑的可塑性，结合机器学习构建脑机相互适应的系统，可以提高脑机融合的效果。但是要实现脑机融合系统中两种截然不同的智能体的有效协作及相互适应，依然需要进一步建立生物智能与机器智能直接互连的信息通道与交互模式，使得机器与生物能够达成协同感知、认知及执行的目的，形成更为复杂的脑机融合系统。

 

3 系统视角：分层融合

 

从系统视角看，脑机融合是一个跨界的复杂系统。大脑与机器的工作机制有着天壤之别，如何将这两个智能体有机地结合起来，是脑机融合系统亟需解决的问题。虽然大脑和机器的结构不同，脑信号处理机制与计算机信息处理却存在多种相似性：(ⅰ)脑与机器都采用电信号作为信息传递的载体及信号运算的物理手段；(ⅱ)脑信号由不同脑皮层分层次、分阶段处理，这一层次化的特点在机器系统中亦非常见；(ⅲ)与机器的模块化相似，特定脑皮层区大致负责特定的感知功能或认知功能，如视觉区、听觉区、运动区、海马区等。

 

大脑与机器的这些相似点，为脑机融合系统的构架带来了可能。最近，本团队[10]以此提出一个层次化的脑机融合计算框架(图2)。在此框架中，生物端包含记忆层与意图层、决策层及感知与行为层3个层次，而机器端亦包含目标层和知识库、任务规划层及感知与执行层3个层次。生物端与机器端内部各层之间相互依赖，生物端与机器端之间则形成跨界的系统结构。在这个框架下：(ⅰ)机器能够直接或间接影响生物的记忆层与意图层工作，从而最大程度地发挥与拓展生物智能。例如，Berger等人[11]通过光遗传学等手段重建和增强了大鼠的记忆能力，Ramirez等人[12]通过神经调控在小鼠脑中形成虚假记忆等；(ⅱ)机器与生物能够相互协作，达成某一行为决策。例如，Taylor等人[13]借助猴子脑部的神经细胞放电来控制三维空间内假肢的运动，DiGiovanna等人[14]让大鼠(Rattus norvegicus)与机械臂根据指示灯的提示共同完成某种任务等；(ⅲ)生物可以借助机器的感知来拓展并利用自身信息获取途径。例如，Thomson等人[15]让小鼠在训练后学会利用佩戴在头部的红外探测器进行探测，本团队在大鼠头上佩戴一个微型摄像头辅助大鼠进行未知环境探索[5]，还建立了大鼠对人的语音感知能力[6]等。

图 2 (网络版彩色)脑机融合三层体系结构

Figure 2 (Color online) Three-layered framework for brain-machine integration

本团队提出的层次化体系结构为脑与机相互融合提供了一个参考的计算框架。此外，类脑计算的研究也可能给传统计算机带来巨大突破，尤其可能产生新型的计算体系结构。一个可能是类脑芯片将作为传统冯诺依曼架构的一个协处理器拓展单元，与中央处理器(central processing unit，CPU)和图形处理单元GPU(graphics processing unit，GPU)等传统冯诺依曼架构计算单元协同工作，以此来增强计算机的海量信息处理能力。在此架构下，传统计算单元依然能够用于运行包括操作系统在内的传统任务，而类脑芯片则可以用于运行智能与学习相关的任务，从而将大大拓展传统计算机的能力。

 

4 智能视角：混合增强

与计算机相比，人脑具备在复杂环境中整合理解多重信息并快速做出决策的能力，并对外界环境变化有很强的机动性和适应性。而计算机则在数值计算、快速检索、海量存储等方面具有明显优势。

 

借助脑机接口技术，有望建立生物脑与机器脑两者的互联互通，进而将生物智能和机器智能深度融合，从而形成新型智能形态——“混合智能”[10，16]。混合智能以生物智能与机器智能这两类智能形式的深度融合为目标，通过两者相互连接通道，建立兼具生物环境感知、信息整合、运动能力，与机器及生物脑的记忆、学习等能力的新型智能系统。

 

脑与机的融合，一方面将大大推动人工智能自身新模型与新方法的发展。依据脑认知基础研究阐明的神经信息处理模式和机制，可研究类脑及脑机融合的人工智能新理论、新模型及新方法，包括模拟脑感认知功能的新一代机器智能、脑机交互融合的混合智能等，使其可依据外界环境变化和功能需求改变而进行自我演化；另一方面有望发展出类脑智能体和新型智能机器人。基于脑科学认知基础、脑机接口及脑机融合人工智能的研究成果，可研发基于非常规计算架构、具备类脑功能的、新型的智能体与机器人，包括类脑仿生机器人、类脑控制无人机、脑机融合的机器化动物(将机器同生物体结合以增强生物的运动与感认知能力)等，使其在运动控制、感觉决策、环境适应、人机交互等方面得到增强。

 

5 结论

 

信息技术在多方面为脑科学提供关键支持，有助于更有效地认识脑、保护脑、创造脑。从信息角度，脑机融合不仅可为脑神经和认知科学家们研究脑结构与功能提供关键的高效实验工具与平台，也为医学专家研究脑疾病机理与诊断提供重要帮助。从系统角度，脑与计算机深度融合后产生的脑机融合系统是一种全新的brain-in-loop的脑机混存复杂系统，有望突破冯诺依曼体系结构，促进脑与机器的相互调用、相互学习、相互适应。从智能角度，机器智能与生物智能在很多方面形成相互补充、相互增强的势态，推动人工智能新理论新方法的发展，并促成类脑智能体和新型智能机器人。

 

参考文献

1 Lebedev M A, Nicolelis M A. Brain–machine interfaces: Past, present and future. Trends Neurosci, 2006, 29: 536–546

2 Waldrop M M. Brain in a box. Nature, 2012, 482: 456–458

3 Talwar S K, Xu S, Hawley E S, et al. Behavioural neuroscience: Rat navigation guided by remote control. Nature, 2002, 417: 37–38

4 Bozkurt A, Gilmour R F, Lal A. Balloon-assisted flight of radio-controlled insect biobots. IEEE Trans Biomed Eng, 2009, 56: 2304–2307

5 Wang Y M, Lu M L, Wu Z H, et al. Visual cue-guided rat cyborg for automatic navigation. IEEE Comput Intell, 2015, doi: 10.1109/MCI.2015.2405318

6 Wu Z, Yang Y, Xia B, et al. Speech interaction with a rat. Chin Sci Bull, 2014, 59: 3579–3584

7 Schiff N D, Giacino J T, Kalmar K, et al. Behavioural improvements with thalamic stimulation after severe traumatic brain injury. Nature, 2007, 448: 600–603

8 Tsubokawa T, Yamamoto T, Katayama Y, et al. Deep-brain stimulation in a persistent vegetative state: Follow-up results and criteria for selection of candidates. Brain Injury, 1990, 4: 315–327

9 O’Doherty J E, Lebedev M A, Ifft P J, et al. Active tactile exploration using a brain-machine-brain interface. Nature, 2011, 479: 228–231

10 Wu Z, Pan G, Zheng N G. Cyborg intelligence. IEEE Intell Syst, 2013, 28: 31–33

11 Berger T W, Hampson R E, Song D, et al. A cortical neural prosthesis for restoring and enhancing memory. J Neural Eng, 2011, 8: 046017

12 Ramirez S, Liu X, Lin P A, et al. Creating a false memory in the hippocampus. Science, 2013, 341: 387–391

13 Taylor D M, Tillery S I H, Schwartz A B. Direct cortical control of 3D neuroprosthetic devices. Science, 2002, 296: 1829–1832

14 DiGiovanna J, Mahmoudi B, Fortes J, et al. Coadaptive brain-machine interface via reinforcement learning. IEEE Trans Biomed Eng,

2009, 56: 54–64

15 Thomson E E, Carra R, Nicolelis M A L. Perceiving invisible light through a somatosensory cortical prosthesis. Nat Commun, 2013, 4: 1482

16 Wu Z, Pan G, Principe J C, et al. Cyborg intelligence: Towards bio-machine intelligent systems. IEEE Intell Syst, 2014, 29: 2–4

---

📚往期文章推荐

人工智能名人堂第49期 | 斯坦福研究院名人堂成员：Peter E. Ha

🔗权威发布：新一代人工智能发展白皮书(2017)丨附下载

🔗DeepMind提出机器心智理论神经网络ToMnet，让机器思考与互相理解

🔗他是从贝尔实验室走出的巨人，乔布斯脚下的巨人肩膀

🔗5年发51篇SCI论文的川大博士，数量上超过很多教授一辈子的发文

🔗他是中国第一个汽车院士，他的学术生涯从“红旗”开始，穷尽一生只为汽车

🔗一边睡觉一边讨论学术的双料院士：将突发性睡病化为成就之源的乔治·丘奇

🔗华人银行被美国政府当替罪羊，这位老华侨花1000万美元誓死反击

🔗中国在国际顶级学术期刊上发表文章的第一人，一生挽救了无数国人的性命

🔗他用一生撑起了12000篇论文：科学史上最著名的失忆者

🔗盘点 | 做实验不要命的科学家，这十位啥都敢往自己身上怼

德先生公众号 ｜ 往期精选

在公众号会话位置回复以下关键词，查看德先生往期文章！

人工智能｜机器崛起｜区块链｜名人堂

虚拟现实｜无人驾驶｜智能制造｜无人机

科研创新｜网络安全｜数据时代｜人机大战

……

更多精彩文章正在赶来，敬请期待！

点击“阅读原文”，移步求知书店，可查阅选购德先生推荐书籍。