Intelligence necessitates memory. Without memory, humans fail to perform various nontrivial tasks such as reading novels, playing games or solving maths. As the ultimate goal of machine learning is to derive intelligent systems that learn and act automatically just like human, memory construction for machine is inevitable. Artificial neural networks model neurons and synapses in the brain by interconnecting computational units via weights, which is a typical class of machine learning algorithms that resembles memory structure. Their descendants with more complicated modeling techniques (a.k.a deep learning) have been successfully applied to many practical problems and demonstrated the importance of memory in the learning process of machinery systems. Recent progresses on modeling memory in deep learning have revolved around external memory constructions, which are highly inspired by computational Turing models and biological neuronal systems. Attention mechanisms are derived to support acquisition and retention operations on the external memory. Despite the lack of theoretical foundations, these approaches have shown promises to help machinery systems reach a higher level of intelligence. The aim of this thesis is to advance the understanding on memory and attention in deep learning. Its contributions include: (i) presenting a collection of taxonomies for memory, (ii) constructing new memory-augmented neural networks (MANNs) that support multiple control and memory units, (iii) introducing variability via memory in sequential generative models, (iv) searching for optimal writing operations to maximise the memorisation capacity in slot-based memory networks, and (v) simulating the Universal Turing Machine via Neural Stored-program Memory-a new kind of external memory for neural networks.


翻译:没有记忆,人类就无法完成各种非技术性任务,如阅读小说、玩游戏或解决数学。由于机器学习的最终目标是开发像人类一样自动学习和采取行动的智能系统,机器的记忆建设是不可避免的。人工神经网络通过重量来模拟计算单位,这是一种典型的与记忆结构相似的机器学习算法类别,人类无法完成各种非技术性任务,如阅读小说、玩游戏或解决数学。由于机器学习的最终目标是开发智能系统,从而形成像人类一样自动学习和采取行动的智能系统,因此机器的记忆建设是不可避免的。人工神经网络通过将计算图示模型和生物神经系统相互连接来模拟大脑神经神经和神经突触。尽管缺乏理论基础,但这些方法显示承诺帮助机器系统达到更高层次的智能。这个理论的目的是促进对记忆和记忆的深度学习过程的重要性。在深层学习中,在深度记忆网络中,最近建模记忆模型的进展围绕外部记忆结构的构造,这些模型受到计算模型和生物神经神经系统的高度的启发。 用于通过内存的内存的内存(i) 建立新的内存的内存的内存的内存(用于内存的内存的内存的内存的内存的内存的内存的内存) 的内存(用于内存的内存的内存的内存的内存的内存的内存的内存的内存的内存的内存的内存的内存的内存) 的内存的内存) 的内存的内存的内存的内存的内存的内存的内存的内存的内存的内存的内存的内存) 。

2
下载
关闭预览

相关内容

最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
86+阅读 · 2020年12月2日
【CMU】最新深度学习课程, Introduction to Deep Learning
专知会员服务
36+阅读 · 2020年9月12日
零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
95+阅读 · 2020年5月31日
【干货书】真实机器学习,264页pdf,Real-World Machine Learning
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Deep Reinforcement Learning 深度增强学习资源
数据挖掘入门与实战
7+阅读 · 2017年11月4日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Andrew NG的新书《Machine Learning Yearning》
我爱机器学习
11+阅读 · 2016年12月7日
Arxiv
49+阅读 · 2021年5月9日
Arxiv
11+阅读 · 2021年3月25日
Arxiv
8+阅读 · 2020年10月7日
Deep Learning for 3D Point Clouds: A Survey
Arxiv
3+阅读 · 2019年12月27日
Arxiv
12+阅读 · 2019年3月14日
Deep Learning
Arxiv
6+阅读 · 2018年8月3日
Arxiv
11+阅读 · 2018年7月31日
Arxiv
15+阅读 · 2018年6月23日
Arxiv
25+阅读 · 2018年1月24日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Deep Reinforcement Learning 深度增强学习资源
数据挖掘入门与实战
7+阅读 · 2017年11月4日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Andrew NG的新书《Machine Learning Yearning》
我爱机器学习
11+阅读 · 2016年12月7日
相关论文
Arxiv
49+阅读 · 2021年5月9日
Arxiv
11+阅读 · 2021年3月25日
Arxiv
8+阅读 · 2020年10月7日
Deep Learning for 3D Point Clouds: A Survey
Arxiv
3+阅读 · 2019年12月27日
Arxiv
12+阅读 · 2019年3月14日
Deep Learning
Arxiv
6+阅读 · 2018年8月3日
Arxiv
11+阅读 · 2018年7月31日
Arxiv
15+阅读 · 2018年6月23日
Arxiv
25+阅读 · 2018年1月24日
Top
微信扫码咨询专知VIP会员