《自然》：机器视觉行为理解与脑神经有内在关联？上交卢策吾团队构建映射模型

来自上海交通大学的卢策吾教授团队多年来致力于行为理解研究，最新成果已发表在《自然》上。

当行为主体在执行某个行为时，其大脑是否产生了对应的稳定脑神经模式映射？如果存在稳定映射，是否能运用机器学习方法发现未知行为神经回路？

为了回答这一系列行为理解的本质问题，近日一项发表在《自然》上的工作对行为理解机理进行了研究。该论文的两位共同通讯作者为上海交通大学的卢策吾教授与Salk研究院Kay M. Tye教授。

论文链接：https://www.nature.com/articles/s41586-022-04507-5

该成果基于计算机视觉技术定量阐释了机器视觉行为理解与脑神经的内在关联，并首次建立了其稳定映射模型。形成计算机视觉行为分析发现行为神经回路这一运用人工智能解决神经科学基础问题的新研究范式，具体为计算机智能算法通过大规模对小鼠社交和竞争行为视频的理解，发现了控制 “动物社会层级（Social Hierarchy）行为”的神经回路，面向回答哺乳动物是如何判断其他个体与自己在社会群体地位高低并做出行为决策的问题，其形成的新研究范式也进一步推动了人工智能与基础科学问题前沿交叉（AI for Science）领域的发展。

具体研究内容如下：

图1. 视觉行为检测-脑神经信号关联模型：（a）小鼠视觉行为理解（b）系统框架与模型学习。

视觉行为检测-脑神经信号关联模型：我们以小鼠群为实验对象，为每只小鼠佩戴无线电生理记录设备，以记录社交活动中的特定脑区内侧前额叶皮层 (mPFC)的序列脑神经信号。同时，通过多个摄像头跟踪定位每只小鼠，基于卢策吾教授团队研究开发的姿态估计（如alphapose）与行为分类研究成果提取行为语义标签，达到小鼠的姿态估计准确率高于人眼水平。基于提出系统自动采集的大量数据，隐马尔可夫模型训练从“小鼠mPFC脑区的神经活动信号”到“行为标签”的回归模型，发现训练后在测试集上仍然有稳定映射关系，揭示了行为视觉类型与其行为主体大脑中的脑神经信号模式存在稳定的映射关系。

模型应用：控制动物社会层级（Social Hierarchy）行为神经回路发现：基于视觉行为检测-脑神经信号关联模型，我们可以发现新的行为神经回路。“动物社会层级”行为神经控制机理（比如，低等级小鼠会让高等级小鼠优先进食，低等级小鼠会表现出服从行为）一直是学界重要问题，即哺乳动物是如何判断其他个体与自己的社会群体地位高低的？其背后的神经控制机制是怎么样的？由于动物社会层级行为是复杂行为概念，该问题一直为学界未所突破的难题。我们在大规模的小鼠群体竞争视频中，定位 “动物社会层级”行为基于上述系统和模型，并同时记录到动物社会层级行为的脑部活动状态，深度解析了动物社会层级行为在大脑中的形成机制，即发现内侧前额叶皮层-外侧下丘脑（mPFC-LH）回路具有控制动物社会层级行为的功能，并得到严格生物学实验的证实。该研究形成了基于机器视觉学习发现未知行为功能神经回路的新研究范式，也进一步推动了人工智能解决基础科学问题（AI for Science）的发展。