【DeepMind-ICLR2020】MEMO-情景记忆的灵活组合的深层网络，A DEEP NETWORK FOR FLEXIBLE COMBINATION OF EPISODIC MEMORIES

主题： MEMO: A Deep Network for Flexible Combination of Episodic Memories

摘要： 近年来开发具有外部存储器的神经网络结构的研究经常使用基准bAbI问答数据集，该数据集提供了许多需要推理的具有挑战性的任务。在这里，我们采用了一个经典的联想推理任务从内存为基础的推理神经科学文献，以便更仔细地探索现有内存增强架构的推理能力。这项任务被认为是抓住了推理的本质——欣赏分布在多个事实或记忆中的元素之间的遥远关系。令人惊讶的是，我们发现当前的架构很难对长距离关联进行推理。在一个更复杂的任务中，包括寻找路径中节点之间的最短路径，也得到了类似的结果。因此，我们开发了MEMO，一种具有远距离推理能力的架构。这是通过添加两个新组件实现的。首先，它将存储在外部存储器中的存储器/事实与构成外部存储器中这些事实的项分离。第二，它使用了一种自适应检索机制，在产生答案之前允许可变数量的“内存跳跃”。