深度学习模型模拟大脑地形图，有助于回答大脑不同部分如何协同工作

2022 年 2 月 21 日 机器之心

编辑/凯霞

大脑中处理视觉信息的部分——颞下（IT）皮层——受损可能是毁灭性的，尤其是对成年人而言。那些受影响的人可能会失去阅读能力（一种称为失读症的疾病）或辨认面孔（面容失认症）或物体（失认症）的能力，目前医生无能为力。

更准确的视觉系统模型可以帮助神经科学家和临床医生为这些疾病开发更好的治疗方法。

近日，卡内基梅隆大学（CMU）的研究人员开发了一种计算模型——交互式地形网络（ITN），使他们能够模拟 IT 的空间组织或地形（topography），并更多地了解相邻的脑组织簇是如何组织和相互作用的。这也可以帮助他们了解该区域的损坏如何影响识别面部、物体和场景的能力。

该研究以「A connectivity-constrained computational account of topographic organization in primate high-level visual cortex」为题，于 2022 年 1 月 18 日发布在《PNAS》上。

论文一作 Nicholas M. Blauch 博士说，这篇论文可能会帮助认知神经科学家回答关于大脑不同部分如何协同工作的长期问题。

「长期以来，我们一直在想，我们是否应该将大脑中响应面部的区域网络视为一个单独的实体，仅用于识别面部，或者我们应该把它作为目标识别的神经结构的一部分，」Blauch 说。「我们正在尝试使用一个假设这种更简单、通用的组织的计算模型来解决这个问题，并看看这个模型是否可以解释我们通过学习执行任务在大脑中看到的专业化。」

为此，研究人员开发了一种深度学习模型：交互式地形网络 (ITN)，该模型具有生物大脑连接的附加特征，假设该模型可以揭示 IT 的空间组织或地形。

交互式地形网络

ITN ，一种用于高级视觉皮层计算建模的框架，特别是其功能性地形组织。ITN 模型被定义为神经网络模型，其：（1）优化以执行自然任务；（2）以生物学上合理的方式约束连接以产生功能组织。

在这项工作中，介绍了一种 ITN 形式，它分为三个部分：近似早期视觉皮层的编码器、近似颞下皮层的交互式地形 (IT) 层，以及一个或多个下游任务的读出机制。编码器的目标是提取描述视觉世界的一般视觉特征，这些特征沿着支持广泛的下游读出任务的维度。

研究人员的主要建模重点是 IT 层，它由一系列受生物约束的循环层对组成。为了计算简单，这些约束没有在编码器中建模。

首先展示了特定 ITN 模型的模拟结果，将其称为主模型或「E/I-EFF-RNN」，这表明它具有负责激发和抑制（E/I）的独立神经元。前馈连接是严格兴奋性（EFF）的限制，时间循环处理是通过学习横向连接（RNN）介导的。此外，该模型使用 ResNet-50 编码器，该编码器在大型数据集上进行了预训练，包括来自对象、面部和场景域的多个类别，并在预训练后用作特征提取器它为包含单独的 pIT、cIT 和 aIT 区域的三区域 IT 提供输入。

图示：交互式地形网络产生分层域级组织。（来源：论文）

训练后，该模型在各个领域表现良好，在人脸域达到了 86.4% 的分类准确率，在物体域达到了 81.8%，在场景域达到了 65.9%。跨域的性能差异不太可能是特定架构的产物，因为它们可以在各种 DCNN 中看到，这反映了每个任务的内在难度，由于给定图像集的每个域的类别内部和类别之间存在可变性。

为了进一步确认地形组织的功能意义，研究人员分析了从 aIT 到本地类别读出层的读出权重的空间组织。研究发现平均读数权重与每个域的平均响应之间存在很大的正相关（所有 rs > 0.7，所有 Ps < 0.0001），进一步证明了响应地形的功能意义。

损伤分析

接下来，研究人员在模型中进行了一系列损伤分析，以与面部和物体识别的神经心理学数据进行比较。首先，做了局灶性病变。

图示：ITN 模型中的损伤结果。（来源：论文）

研究表明：以每个域为中心的局灶性病变导致对该域的识别异常严重，而对其他域也有较轻微但显著的缺陷。对于此类病变，所有域的缺陷均显著（所有 Ps < 0.05），并且对目标域的识别显著更强（所有 Ps < 0.05）。

局灶性病变引起的非首选区域的部分但不是全部损伤可能是由于不完善或非圆形的地形功能组织造成的。重要的是，病变的这些更分散的影响表明，功能组织虽然高度专业化，但并不是严格模块化的；对那些声称是给定模块的一部分的单元（例如，用于面部识别）的损坏仍然会影响对象识别（尽管程度较弱）。

「对其他领域有一些残留的损害，」Blauch 说。「与首选域相比，它很小，但它向我们表明，这些网络中的专业化可能很强，但也有些混杂。结合整个系统采用的一般原则，这意味着它可能被认为是一个具有内部专业化的系统，而不是一组独立模块的集合。」

一个通用的、灵活的系统在损伤后可能更有能力进行重组，正如我们在儿童身上看到的那样，与具有类似损伤的成年人相比，儿童在幼年受损后视觉功能基本上恢复了。

限制和未来方向

目前的工作仅涉及高级表示的地形组织。在卷积层中建模拓扑组织是 ITN 框架的一个特殊挑战。这些架构和其他生物学上合理的变体是一个令人兴奋的机会，可以从基于连接的约束条件中检查地形组织。
与此相关的是，尽管 ITN 由于区域间空间的限制，在解释分层的地形组织方面具有优势，但它还不能令人满意地具体解释分层表征转换的某些方面，增加了对 3D 旋转的不变性。未来工作迫切需要将 ITN 框架扩展到更强大的计算架构、训练环境和学习规则，而不是将这种计算能力委托给不同的编码器。
ITN 模型和灵长类 IT 的总体表征空间之间存在一些差异。更详细地比较不同的 ITN 模型在定量和定性上解释 IT 皮层的效果是未来研究的一条令人兴奋的路线。
虽然该工作比以前的工作提高了生物学的合理性，但通过结合布线约束、兴奋和抑制的分离以及区域之间的兴奋性连接，额外的生物学细节可能对视觉皮层的计算和组织很重要。未来的工作可能会考虑结合细节。

该研究工作对认知神经科学具有重要意义，提供了地形功能专业化的领域一般发展说明，对于计算神经科学，通过展示如何将众所周知的生物学细节纳入神经网络模型以解释经验发现。

论文链接：https://www.pnas.org/content/119/3/e2112566119

参考内容：https://medicalxpress.com/news/2022-02-neuroscientists-deep-simulate-brain-topography.html

人工智能 × [ 生物神经科学数学物理材料 ]

「ScienceAI」关注人工智能与其他前沿技术及基础科学的交叉研究与融合发展。

欢迎关注标星，并点击右下角点赞和在看。

点击阅读原文，加入专业从业者社区，以获得更多交流合作机会及服务。

登录查看更多