追问顶刊 | 我们离意念打字还有多远?专访《自然》封面研究作者Krishna Shenoy教授

2021 年 12 月 16 日 机器之心



# 追问按

宇宙之于人类,是亘久运行的谜,而人类自身的“三磅小宇宙”——大脑,也让无数科学家为之倾倒。层出不穷的研究让我们一步步接近真实,也让我们愈发困惑。由此,追问公众号推出全新栏目“追问顶刊”,我们聚焦公众瞩目的发布在Science和Nature等期刊的重磅研究,我们与研究的主导者进行深入对话,我们与您一起聆听他们对于研究的解读。


在第一期“追问顶刊”中,我们与读者一起追问了Krishna Shenoy教授,Shenoy教授同我们详细探讨了他的团队发表在《自然》刊物的重磅研究《通过手写实现高效大脑-文本沟通》High-performance brain-to-text communication via handwriting)。以下为具体内容,欢迎阅读。



Krishna Shenoy

霍华德休斯医学研究所 ( HHMI )研究员,神经假肢系统实验室 ( NPSL )主任,Hong Seh 和 Vivian WM Lim 工程学教授,神经假肢转化实验室(NPTL)联合主任


Shenoy教授领导斯坦福大学的神经假肢系统实验室(NPSL),其团队主要从事神经科学及神经工程研究,通过对大脑运动控制系统的解码,设计医疗装备帮助存在运动障碍的人群。同时Shenoy教授也与神经外科医学博士 Jaimie Henderson 共同领导神经假肢转化实验室(NPTL;2009 年成立),申请用于瘫痪患者的脑机接口的FDA临床试验。


本文由TCCI追问团队呈现

问题筹备:Aaron

采访:Jiahui

翻译:Nevaeh,张旭晖

整理&审校:Vicky

编辑:lixia,Jiahui,EY


Q

让我们先从简单的问题开始吧,能否请您向读者们简要介绍您的研究领域?

Shenoy:没问题。我们正在尝试帮助那些无法行动不能动或者无法交流的人群。他们往往患有神经损伤或神经疾病,例如脊髓损伤、肌萎缩性脊髓侧索硬化症(渐冻人症)或者中风。为了帮助这些人,我们能做的就是通过研究大脑和其中数百亿个神经元,以及这些神经元是如何控制那些能产生正常行为的神经活动的


如果我们可以发现并解码这些神经信号,并将这种大脑的语言翻译出来,那么我们就能移动机械臂、控制电脑屏幕上的光标,或者用书面文本来帮助那些无法交流的人群。


这项工作既包含了神经科学,又与神经工程学相关,像是电子工程、计算机科学和机器学习。还有很大一部分,就是转化——我们正努力让科研成果造福大众。为了让这项技术能真正帮到大众,一般来说,必须要通过一家甚至好几家公司。所以,我们也在试着帮助一些公司,让他们可以做出真正可使用的系统,希望不久后,数万人甚至数百万人,可以用上这些系统。

Q

我们今天的采访尤其关注您的团队近期在《自然》期刊上发表的《通过手写实现高效大脑-文本沟通》(High-performance brain-to-text communication via handwriting)一文,可以简要介绍一下这篇论文吗?

Shenoy:当然。我们从小就学着如何在纸上书写,我想这几年纸张已经变成了平板电脑,但书写的本质并未改变,它是一种非常棒的沟通方式。当然,讲话这一方式也很妙,但是书写这么好的沟通方式,却从没有人想过了解人脑是怎么控制它的。


所以,我们就提出了这一问题。我们招募了可以说话却无法移动上肢的受试者,他们的胳膊一直处于绝对静止的状态。接着,我们要求受试者尽可能尝试写下所有的英文字母。字符种类那么多,包括日文汉字、梵文和中文字等,但我们选择了英文。很有趣的是,我们发现,在受试者书写英文字母时,我们能很快且正确地解读与之相关的神经活动,受试者在想要书写的一瞬间,屏幕上就出现了字母。因此,这个系统为受试者们提供了一个与世界沟通的新方式。我们还打算针对其他语言和不同的疾病状态继续研究,希望能让这个系统速度更快,也更准确。

▷ Nature 封面

Volume 593 Issue 7858, 13 May 2021


Q

我们从年轻科学家以及其他对该研究感兴趣的学者那里征集了一些问题。第一个问题是这个系统可以持续多久?它能长期、稳定地输入文本吗?

Shenoy:是的,这是个非常好的问题。系统的可使用生命周期非常重要,因为安装这个系统需要进行外科手术。手术过程中,我们把一个小拇指指甲大小的电极传感器植入大脑表层,深度大约是大脑表层下方一毫米处。但这仍然是一种侵入式手术,确实存在着风险,千万不要在家中尝试。如今,很多人不想做手术,我们需要其他系统来解决这个问题。当然有一些不做手术就能使用的系统,但是它们往往速度更慢,错误也会更多。我们选择了植入传感器的方式,所以您的问题实际上是问这些传感器可以持续工作多久?在这个问题上,我们其实是消费者的角色。我们其实是从一家公司购入这些4x4平方毫米大小的电极阵列和100个硅电极的,用的也是人们日常使用的计算机芯片技术。所以,我想表明我们并不从中获益,这些传感器并非我们制造,我们与之没有利益冲突。我们可以用它们记录至少5年的信号,或许更久。但通常我们的受试者在使用了5年后,会倾向于说:“要不还是把传感器取出来吧,我的日常生活开始变得有点儿更费劲了,我不想再继续参与研究了。”

Q

用了5年传感器以后,体验会有什么不一样吗?

Shenoy:取出传感器后,他们没法再使用系统。使用年限能否超过5年是个很有趣的问题,我们认为它是可以的。重点是如何让电极变得更好、更小、更灵活,更持久,而这些都需要大量的工程科学技术突破。有许多研究团队正在做这方面的研究,这很重要,我们也很乐意与他们合作,试用他们的系统。

Q

明白了。我们的一位读者对文本识别很感兴趣,他提出了下面这个问题。在输入文本时,系统如何提高文本识别的准确性?是否需要更高通量的数据处理?还是算法会自动补偿?

Shenoy:在我看来,回答这一问题的关键之处在于,受试者们每天都会使用系统,我们获取那些数据,并将它们上传到电脑中。


有了这些数据,我们可以训练新的神经网络模型、机器学习模型,系统也可以通过这种方式不断优化。因为你已经知道,当人们试图写“a”、“b”、“c”时,神经活动会作何反应,在这一基础上,系统每天都在学习更多的数据。到了某个时刻,也许是一到两周后,不再像之前那样有许多的新数据,因为所有能学习的东西都已经在系统里了。


这时会发生一件事,而受试者们自己甚至都不知道这件事正在发生。神经活动开始发生改变,是非常轻微的改动,我们称之为“可塑性”(plasticity),它让系统运行得甚至更好。这有点像我们学习打网球,也许能击中网球,也许会犯错,但随着日复一日、年复一年地练习,你的水平会逐渐提高。这种练习效应(practice effect)之所以发生,就是因为大脑在同时改进对躯体的控制。同样地,大脑也会慢慢改进对翻译文本的机器学习算法的控制。我认为有两个关键点:有了更多的数据,你就能更好地解码;以及,人们使用这个系统越久,即使他们没有觉察,他们的大脑也能逐渐适应

Q

是不是可以说练习效应在这里起到了最重要的作用?

Shenoy:是的,我认为在刚开始的1-2周里,输入尽可能多的数据,建立起解码模型,是最重要的。但你说得非常对,两周过后,练习效应就是最重要的了。

Q

下一个问题比较笼统,请问如何才能扩展输入功能,比如编辑、删除等,以及如何扩充字符集,收录更多的语言,像是中文或者是大写字母等。

Shenoy:是的,这个问题很棒,对此我有两个答案。首先,在论文中,我们展示了输入26个英文字母和5个特殊字符,像是逗号、问号这种。但我们并不知道如何解码大写字母之类的字符,因为这个系统可以起作用已经出乎我们的意料,尤其是可以解码非常精细的手指活动。即便是只能输入基础字符,为了达到我们想要的性能,光是完成第一个试验就已经投入了非常多的精力。


所以,第一个问题是,现在它也许能输入更多的字符。我们还不知道,但不妨这样说,由于系统还没有尝试更多字符,所以我不知道,而我也不想直接假设它可以做到。好,接下来我们说说中文字符。当你想写汉字时,一定会遇到两个问题,对吧?第一,汉字的细节太多了,英文字母很简单,超级简单,“a”、“b”、“c”就行了。汉字却很精细,所以要难得多。不过,由于我们是从控制笔移动的脑区收集信号,应该可以解码、采集那些精巧的汉字线条,只是我们的了解还不够多。

Q

我们得解码不同语言的特点。

Shenoy:没错。所以我们需要做些什么,如何做,是个很好的问题。我们正在试着让受试者写下某种语言里的单个字符,同时记录他的神经数据。我们会让他们把同一个字符写很多遍,但不是在同一行全写同一个字符,而是在里面间隔插入其他字符,像是随机地让他写另一个字符,直到电脑将书写每个字符的神经数据都保存下来。然后,我们会训练机器学习算法,在1秒种内把那个字符准确地识别出来,接下来就可以解码了。所以,就汉字而言,一方面汉字太精细了,还有一个问题是,中文字符真的太多了。请见谅,这个答案我应该知道才是。粗略来说,中文里有多少个汉字?普通话和粤语是一样的,对吧?汉字总数应该一样?

Q

其实,我也不太确定,但我猜大概有数千个?常见字可能有数千个。

Shenoy:是的,我试过搞清楚这个问题,因为我对它很好奇。我妻子是越南人,她写越南语会用到五种声调。我有一个亲戚是中国人,我也问过他,但没想到会有上千个这么多。

Q

没错,但每种语言肯定都会有些特点,我想未来人们可以解码全世界的语言。

Shenoy:肯定可以做到的。比如印度的梵语,我父亲对它很熟悉,总共有52个字符,也很复杂。简单来说,首先,每个字符都有精妙的特征,第二点,字符数太多导致难度更大。所以,我们并不知道可以做到哪一步,但的确存在解决方法。而这一方法正是你们刚刚提出的问题。我们需要更高的带宽吗?需要更多信息吗?是的,我们确实需要这些,还需要更多的电极。每当我们往大脑中放入一个电极,我们就记录了来自一个或者几个神经元的信号。所以,如果有足够多的神经元,也许是1000个,而非200,那么我想应该可以解决问题。为什么我这么自信?原因是我们可以写下所有的字符。我不会写中文,但是你(指采访者)可以做到,你写得又快又好看,所以你的大脑知道该怎么做。那么,我们只需要从足够多的脑细胞那儿,监听到足够多的神经活动,这一点是可能做到的。不过具体需要多少神经元,只有时间会给出答案了。很抱歉我回答了这么多,这样解释可以帮助读者理解吗?

Q

非常有帮助。但我也有个问题:怎么区分那些相似的字符,比如“2”和“z”?英文的曲线也许能轻松区分出来,但我想其他语言则不尽然。

Shenoy:没错,你说得太对了。例如,我们在论文中举的例子,就是字母 “h”,它有一个长竖,而“Nancy”中的“n”与“h”的差别是,“n”第一笔是短竖。有时候,就连我们也会搞混,因为它俩真的很相似。在书写的时候,二者也很像。当然,大部分时候我们都会写对,但当出现错误时,往往就是混淆了那些看起来相似的字母。

Q

我们能做些什么来改进呢?

Shenoy:我们可以使用另一种机器学习,它熟悉不同字符之间存在的各种可能性。有许多示例,论文里我们用了“the”这个词来解释,当我们写下这个词时,有时候会认为它是“tne”,对吧?但并不存在“tne”这个词,只有“the”。


如果你使用所有现存语言的机器学习,或者说语言模型,包括英文、中文、梵文等,当前面一个字母是“t”时,跟在它后面的字母更可能是“h”,而不是“n”。所以你写下“t”“n”“e”后,继续写下一个词,系统可以自动识别这里存在拼写错误。那我就会把“n”改成“h”,变成词语“the”。这是不是很像在电脑上打字?电脑会自动纠正,这里的原理相同,自动纠正的数据库也一样。


通常我们更关注的是,当系统不带有自动纠正或者自动填充功能时,它还能不能很好地发挥作用,这样我们就能知道,它在没有辅助功能的情况下效果如何。但我们是可以开启辅助功能的。你看,所有系统都有辅助功能,谷歌、阿里巴巴,每个系统都有。你打字的同时,系统就会自动纠正,或者是自动填充。对我来说,纠正的情况更多。我有一台iPhone,它并没有多好用,可是,当字母之间的差异非常小,甚至难以区分时,手机仍然可以帮我输入地更准确。无论你在大脑里放了多少个电极,这些电极运转地多么好,总是会出现错误。而我刚刚说的那些,就可以很好地改善这种情况。

Q

感谢您的回答。下一个问题更像是对下一阶段研究的提问。您的团队已经达到每分钟拼写90个字符的速度。这已经很令人惊叹,不过说话往往比打字快得多,理解大脑如何编码语音又非常难。您有解决这一问题的打算吗?还是说,这正是您下一阶段的研究?我们对此非常好奇。

Shenoy:是的,那正是我们下一步打算做的。我们认为关于书写,还有许多可以挖掘的地方,而且书写本身是一个很有趣的话题。但是你刚刚说的很对,当我们说话时,两个人沟通起来会更快。现在的情况是怎样呢?加州大学旧金山分校的Edward Chang跟我认识很久了,我们是好朋友,也有合作,住处也离得很近。他正在做一项非常棒也非常重要的研究,用脑皮层电图(ECoG)记录大脑表层的信号。在他最新一篇发表在《新英格兰医学杂志》的论文中,他们做了一个包含50个词语的词汇集,受试者在其中任意选择一个,解码准确率可以达到75%。这项工作非常棒,但也让大家看到了局限性。


那为什么会存在这些局限呢?因为记录信号的大电极位于大脑表层。通过一台外科手术,把电极放到大脑表层,可是它并没有听到单个神经元的活动,它做不到只记录单个神经元的电活动。打个比方,假设在一个足球场里,看台上有十万个观众,而我坐在直升飞机上,从空中往下悬吊一个麦克风,位置要高过看台的观众们,我只能根据听不听得到吼叫,来判断主场球队是否进球。


但如果我可以把麦克风放得更低,那么我就能听到更多的对话。在这个比喻中,我就是神经元。而单个神经元就是记录、聆听、衡量的最佳对象。


▷ Edward Chang团队的研究

Neuroprosthesis for Decoding Speech in a Paralyzed Person with Anarthria,DOI: 10.1056/NEJMoa2027540


Q

这是否意味着,在解码时存在许多噪音?

Shenoy:不,噪音更少。其实你基本说对了。如果我只记录一个神经元的信号,确实有许多噪音。但是如果我用前面提到的电极阵列记录100个神经元的信号,那么你就有1个麦克风靠近你和其他100个人。即使有些许噪音,你也能得到很强的信息集,里面有非常多的信息。把麦克风悬在所有人头顶上方的问题是,会让大家的声音相互减弱,你听不到某一个对话,或者只能听到人们说话声音的大小,仅此而已。这样,你就没办法听懂我们之间对话的内容。我想说明的是,把电极放到大脑内部,这样电极尖端会靠近单个神经元细胞,你可以记录到更多信息,我想所有人都会同意这点,它就是这样工作的。我们已经发表了两三篇论文,来阐述已完成的实验,那就是我们第一次弄明白大脑、单个神经元如何控制讲话。接下来,我们打算在受试者大脑的语言区植入电极,以建立起可以听到电活动并解码的系统,用这个系统真正创建语音、合成声音或者在屏幕上打字,你可以选择任一方式。这就是我们接下来的研究方向,虽然还没有正式开始,但国立卫生研究院(National Institute of Health, NIH)和其他联邦拨款将会用于这个用途,我们的团队也正在准备,想快一点得到结果。现在说回Edward Chang,他和我一致认为,我俩的研究方法应该合在一起,同时使用两个方法,而不是选择哪一个方法更好。他的研究方法可以覆盖一半大脑,因为电极位于表面,覆盖面积更大。我们的方法则是深入某一个区域,希望是能记录到许多单个神经元的最佳区域。所以,在我看来,研究前景就是将二者结合起来。

Q

我们非常期待看到这两项研究问世。接下来让我们回到与识别准确性提升有关的打字研究,是否有可能实现几乎实时的思维-文本对话呢?是否有可能同步对话速度与思维速度呢?

Shenoy:非常好的问题。所以,这实际上是两个问题。首先,我们能要求一个人尝试或想象手吗?请记住,他们的手是无法移动的、瘫痪的。那么,我们能要求他们尽可能快速地书写、尽可能快速地尝试书写并且实时进行解码吗?是的,我们可以做到。这一点我们实际上已经在《自然》期刊上的论文中展示过了。


当下,要知道思维是什么还有些困难,因为没有人真的知道思维是什么。但是,我们通常认为思维是以语言的形式表达出来的。如果我问你,你是怎么思考的?也许你会说,我用语言思考,我用句子思考,诸如此类。所以也许我可以自我纠正,但是我认为可能你的意思是我们是否能像思考语言一样尽可能快速地解码。在此,我想我们还不知道这个问题的答案,我们还没这么干过,但我相信答案会是肯定的,因为说话和书写非常相似。想想什么是书写?书写是非常准确地、迅速地活动不同的肌肉,说话则是非常快速地活动不同的肌肉、你的声带、口腔和嘴唇。


所以,我们在书写方面展示的所有数学、机器学习的内容都应该适用于说话。并且,我想大多数人也会认同。但我们必须证明这一点。在我们能够真正证明它之前,我不相信任何事。因为有时候你可能会出错,对吧?我想,对于有些人来说,当他们认为自己能够在脑海中描绘出这些词语时,但实际上他们很难做到。这是对的,我想有一些很罕见的案例,一小部分人可能是以绘画或颜色或事物的形式进行思考,但我想我们大多数人,比如我自己,是以语言来思考的。所以以上就是我的回答,虽然我们不知道,但这在神经科学中是非常有趣的,非常基础的脑科学。

Q

沿着这个问题,就像我们能够把文本信号传输给大脑,我们是否能够连接两个人的脑机接口让他们能彼此交流呢?

Shenoy:有人问到这个问题很正常。首先,我不知道,但这是个很有趣的问题。所以,让我们一起来想想。如果我正在思考词语,我认为我能阅读、提取、解码它们,也能以一定速度说出这些词语。那么,你的问题的第二个部分是,因为你会认为你能够听到或想到我的想法,那么我能够电刺激你的大脑神经元吗?从科学的角度来看,我认为我们还不知道这是否可能。但如果是可能的,那我们应该会有一种电子的、无线的方式彼此交流。我确实认为有可能,随着时间的推移,可能是1年、5年或者20年,我不知道。但我的确相信,我们大脑里的一切、精神生活的一切都是单个神经元的活动,所以应该是有可能的。某一天,我的大脑里会有一个小小的电脑芯片,向你的脑袋发送无线电信号,它刺激你的大脑,然后再反过来给我发送信号刺激我的大脑。你和我可以通过这样的方式交流,却不需要说任何话。

Q

接下来我有一个问题,如果我完全不懂英语,那么您要如何理解我的意思呢?

Shenoy:你是对的,这是一个很好的角度,因为我们也不知道,这取决于英语是我们的第一语言、第二语言还是第三语言,以及它在大脑中如何表征。我认为这些问题都很吸引人。你可能是正确的。如果我们交流,你说,嘿,Krishna,你一定懂普通话吧。然后你在我的大脑里植入一个芯片,开始输入普通话,我可能会说:我根本不懂普通话。

Q

或许一种解决方案是在通路中间放上一个翻译器?

Shenoy:是的,所以我认为,当我们想到这些技术可以帮助残疾人时,这实际上引出了一个非常有意思的问题。我们正在做的也在推动科学发展,它促使我们对大脑提出新的有趣的问题,如果我们不思考如何利用这些信息,有些问题可能就不会被问到,就像这场关于语言和其他问题的对话。我也不知道,这不像是基础的神经科学研究者,我们必须像你和观众一样思考这个问题。

Q

但如果它们能连接每个人的大脑,那真的是有趣的想法,当然,也很可怕。

Shenoy:是的,所以伦理(什么是对的、什么是错的)是很重要的。你说得真的很对,我们所有人都在担忧自己在手机上花了多少时间,我们在手机、电脑和互联网上都在干些什么。但如果它真的就在你的大脑里,真的很可怕。所以,我自己非常谨慎保守,因为我不想无意中伤害任何人,我的一生都在努力尝试从医学角度帮助有需要的人们。并且,就像在科学和工程领域一样,你可以用不同的方式来使用它,但事实上可能不会帮到人们,就这点而言,我必须时刻保持谨慎。

Q

说到临床使用,另一个问题是,您预计脑机接口需要多长时间才能准备好用于临床使用?未来你们将面对的挑战是什么?

Shenoy:脑机接口的临床应用是个非常有趣的问题。当下,从已有论文来看,一小部分人拥有临床的脑机接口系统,在中国至少有1~2个人,美国很少。这个数字非常小,但是有人在做所谓的临床试验,安全性测试和其他各个方面的相关试验非常少。


但如果我们考虑临床使用,我认为你想说的可能是,如果我脖子受伤了,身体不能动了,我能不能直接去一家大医院(可能不是距离最近的医院),也许在北京或某个地方,然后作为常规健康护理的一部分完成手术?我希望如此,所以这也只是推测,我不知道,但我希望只需要再过10年我们就可以实现这一切。对于不知道的问题,人们总会给出10年这样的答案。


但为什么我说10年呢?我自己其实也很惊讶,大概是因为现在有许多公司开始对脑机接口很感兴趣,如果公司有成百上千名员工能为此全职工作,这就是我所说的10年的含义。好比我的研究组有10人,只有10人,我们只是构思想法,让公司来实际践行我们的想法,得出的成果之后能帮到数以千计的人。但这些公司现在正在起步阶段,制造电极的黑石微系统(Blockrock microsystems),还有一些中国或者欧洲的企业,美国埃隆·马斯克(Elon Musk)创办的Neuralink公司等等。


脑机接口开始受到关注并获得了大量资金和人力支持,这一事实让我变得更加乐观。不过,也有可能会全面失败,我不知道。但我想,因为许许多多的人们真的在遭受痛苦,我们努力尝试总归是件好事。许多人真的需要像脑机接口这样的系统。

Q

所以我想10年是一个乐观的猜测。

Shenoy:我猜这也太乐观了,我是这么认为的。但如果5年前你问我同样的问题,我想我会说20或30年,改变这一切的是数亿美元以及成千上万为此努力付出的人,这真的让我很惊讶也很开心。因为我认为只要每个在这个领域工作的人能各尽其才,我的意思是,显然有很多人致力于这个领域,包括(在加州理工学院建立天桥脑科学研究院的)陈天桥、雒芊芊夫妇,还有加州理工学院的理查德·安德森(Richard Anderson)。我曾在安德森门下接受训练,最开始做神经义肢时我和他一同工作,1995年到2001年间,我是他负责培训的博士后。陈氏夫妇在加州理工学院所做的一切都非常了不起。


天桥脑科学研究院(TCCI)在加州理工学院建成的科研大楼



Q

我们也收集了一些科学家们的问题,他们对于数据非常好奇,您的团队有可能向公众分享原始数据吗?也会包含原始的电生理数据吗?

Shenoy:这是个很好的问题,答案是“是的”。我们已经向大家分享了,但让我再多解释一点。在处理人类神经数据时,人们必须对于隐私性非常谨慎,所以,我们耗费了2年时间确保我们已经考虑过每一种不同的方法来保护我们的受试者。我们找到了一种好方法,我想每个人都会为此感到开心。当然,在论文中你可能没有注意到,但它在论文很底部的位置,如果你想要获取这篇论文中提到或没有提到的所有神经数据,你可以去Dryad数据库下载,它向公众开放。你现在就可以下载全部数据,还有python代码,用于展示如何一步步完成机器学习的所有步骤。我们花了很长时间做这件事,这些代码数据就存储在GitHub网站上——读者们可能对此很熟悉。所以,据我们所知,这是第一次有一项人类研究公布了论文所有的数据和代码。我们收到了许多非常积极的反馈,因为我们的目标是让相关研究加速推进。我们想要帮助人们,我们想要帮助机器学习专家做得更好,我们想要帮助其他研究组,让他们知道要记录什么。出于这些原因,我们做了这件不寻常的事情,这是前所未有的。

Q

我想,所有的科学家,包括在中国的科学家,他们应该会感激你们开放的态度。

Shenoy:那太好了。我们认为我们会一直这样做,除了人们的隐私很难确保,我们很难确保科学家们也在保护他们的隐私。因为也许有人看到了神经信号,然后发现某个人得了别的病或类似的病。但某种程度上,这个风险很低,好处却很大。能用这个做点什么呢?这些数据非常重要也很有意义。最后我们的受试者也授权了数据开放。我们解释了我们认为应该做的一切,受试者也理解了我们的意图,在反复询问之后我们得到的依然是肯定的答复,受试者最终签字同意。所以,受试者知道这是最重要的事情。老实讲,我们非常高兴,我们花了很多时间,我们没有因此获得任何嘉奖。但是没关系,我们不在乎荣誉,我们只是希望这些数据能够帮助到别人。

Q

接下来的问题来自于一位工程师,他比较关心这项研究的硬件问题。他想问的是,你们下一步打算如何改进当前硬件?包括准确性、速度、效率、大大降低侵入性以及让设备使用起来更加简易。

Shenoy:这个问题非常好。硬件实际意味着两件事。其一是植入大脑的电极,其二是基于植入电极的所有电脑系统和连接器。虽然我们研究组不制造电极,但我们做的和这两件事息息相关。首先,我们所做的与神经像素紧密相关,这是霍华德休斯医学院(Howard Hughes Medical Institute)和比利时微电子研究中心(Interuniversity Microelectronics Center, IMEC)的合作成果,他们用数百个微电极来制造电极,我们现在已经在动物模型上使用了这些产品,我们也已经发表了第一篇论文的预印本,目前有本期刊正在审稿。我们也在人类身上使用了这些产品,因此我们能记录下3倍多的神经元活动。


第二个问题是大脑外的硬件?目前,患者头顶上会有一个小连接器,你们可能在视频中看到过,我们必须去掉它。它穿透了皮肤,是安全的,但我们不得不留下它,当然,它看起来不太好看,人们不太喜欢。所以我们需要的是较小的蓝牙无线发射器,或者可能不是蓝牙的而是无线的发射器。我们目前研究的还是侵入式的,我的意思是它仍然需要被植入到皮肤下方,大约深入到大脑表层下方1毫米或0.5毫米的位置。除此之外,我们没有其他的研究方法,因为我们不知道还有任何其他方法能记录或测量单个神经元。现在,有些出色的研究组在研究用于皮肤表面的电极,也就是EEG,这确实也很有效,但它们每秒从大脑获取的信息并不多,比如Jonathan Wolpaw在纽约的研究组等等都是采用这种方式。所以,我们不是在研究非侵入性的方法,而是低侵入性的方法。

Q

我们还有一些关于您个人兴趣的问题。除了脑机接口,您还对神经科学的其它领域感兴趣吗?

Shenoy:当然,脑机接口只是我们研究内容的一半,另一半非常相关但并不相同,是纯粹的基础科学。我们非常感兴趣的是,大脑如何控制运动?它是如何学习运动的?它是如何适应运动、手臂运动和决策的?你是如何做决策的?以及你如何理解和解释这些决定等等。之所以我说这个部分与脑机接口不同,是因为脑机接口是一种应用,对吧?它是我们如何运用科学知识、通过工程学来帮助人们的体现,而我现在提到的是纯粹的基础科学。比如,许多神经元如何一起工作来表征信息、计算信息、控制等等,这是我们的基础科学研究,我们致力于相关研究已有20年之久了。

Q

未来5~10年内您的研究目标是?在这个领域您的终生目标又是什么呢?

Shenoy:我认为在高层次目标方面,实际上有三个,我先说前面两个,因为第三个是顺其自然的。一个是帮助残疾人,帮助无法行动的人们,这是一个非常清晰的目标。我的第二个非常强烈的愿望是培训学生和博士后,帮助他们学习如何选择研究问题、如何解决问题,当事情不顺时不会沮丧,如何继续前行。我觉得帮助残疾人和帮助人们发展自己的事业,这是最重要的事情。现在第三个目标就很明显了,那就是深层次地、真正地理解大脑,因为它是如此的迷人,这正是我一生所想,也许没那么久,从大学开始吧。至少在大学以前,我对大脑真的没有太多想法。一个暑期,我偶然得到了一份研究职位,基本上是关于神经计算的课题,我当时就对大脑感兴趣了,真的太酷了,我很想知道大脑如何运作。35年来,我真的很想越来越多地了解大脑。我知道,终我一生也不可能将大脑了解透彻,那是不可能的,就像物理学家一样,一辈子也永远不可能理解物理学的一切。但是没关系,我只想有所贡献。

Q

您今天说了很多内容,我们采访结束后会把您所说的分享给许多年轻科学家。最后,您能分享一些想对年轻科学家们说的话和建议吗?

Shenoy:当然可以,这是一个非常好的机会来分享我的一些想法。我的智慧可能还不足以来分享任何东西,但如果让我说的话,我想大家应该跟随自己的内心。是什么不重要,但你得跟随自己的内心。在我自己的职业生涯中,我喜欢电子工程,我喜欢神经科学,因为我喜欢去了解有多少像小晶体管一样的小部件变成了电脑,有多少神经元变成了大脑。我当时在麻省理工学院读书,马上就要获得电子工程学博士学位。我决定拒绝一份非常赚钱的工作,遵从自己的内心。因为我知道,我只有在研究大脑、研究大脑如何帮助人们时,我才会感到满足、感到快乐。我之所以说追随你的内心或所热爱的事务,是因为唯一能让自己更为优秀的途径,是唯一能够有所成的方法。因为如果你从事一些不喜欢的事业,做一些你毫无触动的事情,每天起床、全身心投入都会很困难,更别说第二天、接下来50年都是如此。所以我认为,有时候年轻科学家们、年轻学生们感觉自己理所应当知道自己所热爱的事业是什么,但事实并非如此。你是无法控制自己喜欢上一件事情以及什么时候会喜欢上的。就像是在人际关系中,你不知道什么时候你会遇到对的人、什么时候你会结婚。你不知道什么时候你会找到你喜欢的职业,你只需要继续寻找你终会找到毕生的追求,并不懈探索。我想你不仅会过得很开心,更会有所成就。


追问互动

○ 如果您对本期内容有进一步想要追问的问题或者讨论的内容,欢迎在评论区留言,或者加入我们的社群参与互动,添加小助手微信questionlab即可申请进群。


登录查看更多
0

相关内容

【课程】牛津大学&DeepMind《深度学习自然语言处理》课程
【AAAI2021】用于视频描述的语义分组网络
专知会员服务
15+阅读 · 2021年2月3日
专知会员服务
26+阅读 · 2020年9月27日
2019->2020必看的十篇「深度学习领域综述」论文
专知会员服务
271+阅读 · 2020年1月1日
这次遥控大脑实验成功了,却把网友们吓坏了
Science封面:人为何要睡觉?
新智元
0+阅读 · 2021年11月1日
Nature 一周论文导读 | 2019 年 2 月 21 日
科研圈
14+阅读 · 2019年3月3日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2010年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年4月19日
Arxiv
0+阅读 · 2022年4月19日
2D Human Pose Estimation: A Survey
Arxiv
0+阅读 · 2022年4月15日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2010年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员