为深度学习系统建立起类似人脑的记忆结构，有多大挑战？

2020 年 9 月 27 日 学术头条

在计算机科学中，没有一门学科比深度学习更能从人类的记忆系统中受益。

自早期以来，在深度学习领域，人们就一直致力于对模拟人类记忆的一些关键特征系统进行建模。然而，想要为机器系统建立起类人的记忆结构，并非易事。

近日，区块链分析公司IntoTheBlock CEO、Invector Labs首席科学家、哥伦比亚大学客座教授Jesus Rpdriguez发表文章，谈论从神经科学和认知心理学的角度理解机器的记忆建模。

他认为，神经科学的记忆理论为我们理解智能存储体系结构的一些主要组成部分提供了基础，同时，人类的记忆不仅仅是大脑物理结构的副产品，而且还深受周围环境的影响。

关记忆的神经科学理论：绑定问题

现代神经科学的记忆理论涉及大脑的三个基本区域：丘脑（the thalamus）、前额叶（the prefrontal）、皮层和海马体（cortex &the hippocampus）。

丘脑可以被认为是一个路由器，它负责处理感官信息（视觉、触觉、语言等），并将其传递到大脑的感觉皮层进行评估。经过评估的信息最终到达前额叶皮层，进入我们的意识中，形成短期记忆。同时，这些信息也被传送到海马体，海马体将不同的片段分布到不同的皮质中，形成长期记忆。

而当今神经科学面临的最大挑战之一就是，我们如何将分散的记忆碎片重新组合起来，使其在人们回忆时构成连贯的记忆。这就是“绑定问题（the binding problem）”的主要内容。

假设您曾经历一场考试，那么关于这一事件的记忆将被分解并储存在大脑的不同区域中。然而，只需要小小的提示，例如听到考试提示音或见到当时的同伴，您就能回忆起关于这堂考试的各种记忆。

这是如何做到的呢？

一种理论认为，记忆碎片是由不断流过大脑的电磁振动联系在一起的。这些振动在记忆碎片之间创造了一个时间（而非空间）联系，允许它们同时被激活，因而最后成为凝聚一体的记忆。

关记忆的认知心理学理论：启动与联想

此外，为了解释绑定问题，我们还需要一些超越大脑的结构，以评估能够影响记忆方式的各种心理背景因素。在认知心理学中,试图解释联想记忆本质的主要理论之一被称为启动效应（the Priming Effect）。

设想一下，当您听到“考试”这个词的时候，首先想到的是什么？可能是“书籍”，可能是某个日期，甚至可能是“兴奋感”（手动狗头）。由此可见，仅仅是一个简单的词语，就可以唤起人的一系列复杂情绪甚至是其他相关的词语。而这个过程实际就是：我们正在有效地想起相关的事物，或者说，我们正在“启动”其他记忆。

这一实验中最引人注目的其实是，人们根据提示检索出相关单词或记忆的速度有多快。在心理学中，这种现象也被称为联想一致化（Associatively Coherent）。

而且，启动效应不仅适用于词汇，还适用于情绪、身体反应、本能等认知现象。启动效应告诉我们，记忆不仅是由主动联想方法来回忆的，而且是由“被启动的想法”来回忆的。

认知心理学的另一个重要内容则是我们回忆起特定事件的频率。

例如，如果我问你“在过去的十年里参加了多少场考试？” 如果你刚好最近就参加过一次考试或者特别快地得出答案者，那么这个数字很能被高估。相反，如果你并不喜欢上一次的考试经历，那么这个数字可能被低估。这个认知过程被称为可得性捷思法（the Availability Heuristic），它解释了我们的记忆是如何被快速获得的答案所深深影响。

深度学习的记忆机制：神经图灵机

那么深度学习算法具体该如何模仿上述这些理论从而形成类人记忆呢？答案其实不难得出：

a）把一个内存分成若干段，不同片段描述不同的知识领域

b）将分散的片段重新组合成连贯的信息结构

c）根据上下文和不直接相关的信息以及外部数据引用来检索数据

同时，为了了解深度学习算法中的记忆相关性，我们应该区分内隐记忆implicit memory和外显记忆Explicit Memory。隐性知识通常是潜意识的，因此很难解释，例如识别图片中的猴子或口语句子中的语气和情绪。显性知识则很容易以陈述性方式建模。例如，“猴子是一种动物”或“某些形容词具有攻击性”，这都是显性知识的典型例子。

再想象一下传统的神经网络结构，它们往往有数百万个相互连接的节点，却缺乏一个工作记忆系统，用来存储已推断出的知识片段及其相互关系，以便从网络的不同层加入新信息。

而在这一领域，最流行的技术之一是神经图灵机（Neural Turing Machines，NTM），由DeepMind于2014年引入。NTM也属于深层神经网络，但是它扩展出一个具有存储完整向量的记忆单元，并使用直观推断（heuristics）来读写信息。

例如，NTM实现了一种称为基于内容的寻址机制，它可以根据输入信息来检索向量，这与人类基于文字经验来回忆相关记忆的方式相似。

此外，NTM还包括一种机制，能够根据内存单元被寻址的频率来增加其显著性。

NTM并不是在深度学习系统中实现记忆能力的唯一技术，但它无疑是最受欢迎的技术之一。

模仿人类记忆的生理和心理功能并不是一件容易的事，这已经成为深度学习领域中最重要的研究领域之一。

编辑：吴婷婷
排版：邹静雯
编审：王新凯

参考资料：
https://medium.com/dataseries/understanding-memory-in-deep-learning-systems-the-neuroscience-and-cognitive-psychology-b68f169714bf