A differentiable neural computer (DNC) is a memory augmented neural network devised to solve a wide range of algorithmic and question answering tasks and it showed promising performance in a variety of domains. However, its single memory-based operations are not enough to store and retrieve diverse informative representations existing in many tasks. Furthermore, DNC does not explicitly consider the memorization itself as a target objective, which inevitably leads to a very slow learning speed of the model. To address those issues, we propose a novel distributed memory-based self-supervised DNC architecture for enhanced memory augmented neural network performance. We introduce (i) a multiple distributed memory block mechanism that stores information independently to each memory block and uses stored information in a cooperative way for diverse representation and (ii) a self-supervised memory loss term which ensures how well a given input is written to the memory. Our experiments on algorithmic and question answering tasks show that the proposed model outperforms all other variations of DNC in a large margin, and also matches the performance of other state-of-the-art memory-based network models.


翻译:一种不同的神经计算机(DNC)是一种记忆增强神经网络,旨在解决一系列广泛的算法和问题回答任务,并显示在各个领域有良好的表现;然而,它单一的基于记忆的操作不足以储存和检索许多任务中存在的多种信息说明;此外,DNC没有明确将记忆化本身视为一个目标目标,这不可避免地导致模型学习速度非常慢;为了解决这些问题,我们提议建立一个新颖的分布式基于记忆的自监督的DNC结构,用于增强记忆增强神经网络性能;我们引入了(一)一个多分布式的存储记忆块机制,将信息独立存储到每个记忆块,并以合作的方式使用存储的信息,促进多种表达;以及(二)一个自我监督的记忆丧失术语,确保给记忆书写的投入有多好;我们关于算法和问题解答任务的实验表明,拟议的模型大大超越了DNC所有其他变异,也与其他基于记忆的网络模型的性能相匹配。

0
下载
关闭预览

相关内容

神经计算(Neural Computation)期刊传播在理论、建模、计算方面的重要的多学科的研究,在神经科学统计和建设神经启发信息处理系统。这个领域吸引了心理学家、物理学家、计算机科学家、神经科学家和人工智能研究人员,他们致力于研究感知、情感、认知和行为背后的神经系统,以及具有类似能力的人工神经系统。由BRAIN Initiative开发的强大的新实验技术将产生大量复杂的数据集,严谨的统计分析和理论洞察力对于理解这些数据的含义至关重要。及时的、简短的交流、完整的研究文章以及对该领域进展的评论,涵盖了神经计算的所有方面。 官网地址:http://dblp.uni-trier.de/db/journals/neco/
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
【Google论文】ALBERT:自我监督学习语言表达的精简BERT
专知会员服务
23+阅读 · 2019年11月4日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
A General and Adaptive Robust Loss Function
Arxiv
8+阅读 · 2018年11月5日
Arxiv
17+阅读 · 2018年4月2日
VIP会员
相关资讯
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Top
微信扫码咨询专知VIP会员