智能需要记忆。没有记忆,人类就无法完成各种重要的任务,比如读小说、玩游戏或解决数学问题。机器学习的最终目标是开发出像人类一样自动学习和行动的智能系统,因此机器的记忆构建是必然的。人工神经网络通过权值将计算单元连接起来,对大脑中的神经元和突触进行建模,这是一种典型的类似于记忆结构的机器学习算法。他们的后代拥有更复杂的建模技术(即深度学习),已经成功地应用于许多实际问题,并证明了记忆在机器系统学习过程中的重要性。近年来,深度学习中记忆建模的研究主要围绕外部记忆结构展开,受到计算图灵模型和生物神经元系统的启发。注意力机制的产生是为了支持外部记忆的获取和保留操作。尽管缺乏理论基础,这些方法已经显示出帮助机器系统达到更高智能水平的希望。本文的目的是提高对深度学习中记忆和注意力的认识。它的贡献包括: (i) 呈现记忆分类的集合,(ii)构建支持多个控制和记忆单元的新的记忆增强神经网络(MANN), (iii)通过序列生成模型中的记忆引入可变性,(iv)在基于槽的记忆网络中寻找最佳的写操作以最大限度地提高记忆能力;(v)通过神经网络的一种新型外部存储器——神经存储程序存储器来模拟通用图灵机。

目录内容: 1 Introduction 2 Taxonomy for Memory in RNNs 3 Memory-augmented Neural Networks 4 Memory Models for Multiple Processes 5 Variational Memory in Generative Models 6 Optimal Writing Memory 7 Neural Stored-Program Memory 8 Conclusions

在这篇论文中,我们介绍了神经网络的几种记忆类型,特别是递归神经网络(RNNs)。我们强调记忆作为RNN的外部存储的概念,其中rnn可以学习读写外部记忆,以支持其工作记忆(第2章)。我们回顾了解决训练RNN困难的进展,如门控和注意机制,特别是基于槽的MANN,这是本文第三章提出的新模型的主要内容。我们的主要贡献有四方面。首先, 我们MANN作为一个多进程多视点模型来处理复杂的问题,如sequence-to-sequence映射和多视角序列学习(第四章)。我们进一步扩展MANNs作为离散序列的模型生成会话数据可变性和一致性要求(第5章)。我们也解释到内存中最后,我们介绍了一类新的MANN,它遵循存储程序存储原理,可以通过切换控制器的程序来执行不同的功能。

成为VIP会员查看完整内容
0
42

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

深度预测学习问题与方法研究

随着移动互联网、传感器网络、计算机视觉的快速发展,人们获得了海量的 时空数据。本文面向这类数据的时间与空间结构特性,系统研究基于神经网络的 深度预测学习方法。该方法旨在学习时空序列背后的演变规律,并对其未来状态 给出近似估计。本文讨论深度预测学习的以下难点问题:(1)如何在对时空相关 性的统一建模中考虑层次化的深度网络特征;(2)如何缓解循环网络深度和梯度 消失的矛盾,平衡短期与长期的时空特征;(3)针对各种确定性时空数据,研究 如何建模其复杂的趋势非平稳过程与季节性变化;(4)针对开放视觉环境中的感 知不确定性和动态不确定性,研究如何解决概率预测模型的可信度问题;(5)如 何促进深度预测学习特征向下游语义级的有监督任务泛化。围绕这些问题,本文 的研究过程可分为以下三个阶段,呈递进关系,每个阶段包含 2-3 个创新点:

第一阶段,本文探索深度预测学习的基础网络结构。针对难点(1),研究基于 循环网络的记忆状态跨层转移方法,实现了时间记忆状态与多层空间特征的融合;在此基础上,针对难点(2),本文研究如何在延长循环网络的记忆状态转移路径 的同时,延缓该路径上的反向梯度消失。

第二阶段,本文根据传统时间序列分析中的 Cramér 分解理论[1],分别从时空 信号的非平稳性、季节性和随机性的角度出发,针对难点(3-4)研究相应的深度 预测学习方法。这些方法依次适用于存在固有动力学模式但趋势信息相对复杂的 确定性时空数据(如短时雷达回波序列)、季节性时空数据(如交通流量序列)和 从部分可见的环境中采集的时空数据(如带有噪声的视频片段)。

第三阶段,本文在数据级的时空序列预测任务的基础上更进一步,从时序关 系推理的角度出发,再度审视深度预测学习的特征表达。针对难点(5),本文在 循环网络的状态转移方程中分别引入三维卷积算子和可微分的记忆状态读写机制, 旨在同时促进模型对短期时空特征的感知和对长期语义关系的推理。实验表明,这 些改进对预测模型的任务泛化大有裨益,进而说明了面向时空数据的深度预测学 习是一种有效的无监督表征学习框架。

此外,本文还设计了一套名为 PredLearn 的模型库,从系统实现的角度对上述 创新性方法及其特点和适用范围进行了整理、归纳和对比,以便用户可以根据具 体的场景特性合理选择模型。最后,本文以灾害天气短时临近预报作为一种典型 的应用案例,介绍如何实现从本文方法到实际业务平台的技术转化。

成为VIP会员查看完整内容
0
39

神经网络与深度学习,复旦大学邱锡鹏老师。近年来,以机器学习、知识图谱为代表的人工智能技术逐渐变得普及。从车牌识别、人脸识别、语音识别、智能问答、推荐系统到自动驾驶,人们在日常生活中都可能有意无意地使用到了人工智能技术。这些技术的背后都离不开人工智能领域研究者们的长期努力。特别是最近这几年,得益于数据的增多、计算能力的增强、学习算法的成熟以及应用场景的丰富,越来越多的人开始关注这一个“崭新”的研究领域:深度学习。深度学习以神经网络为主要模型,一开始用来解决机器学习中的表示学习问题。但是由于其强大的能力,深度学习越来越多地用来解决一些通用人工智能问题,比如推理、决策等。目前,深度学习技术在学术界和工业界取得了广泛的成功,受到高度重视,并掀起新一轮的人工智能热潮。

本课程主要介绍神经网络与深度学习中的基础知识、主要模型(前馈网络、卷积网络、循环网络等)以及在计算机视觉、自然语言处理等领域的应用。

本书的写作目的是使得读者能够掌握神经网络与深度学习技术的基本原理,知其然还要知其所以然。全书共 15 章。第 1 章是绪论,介绍人工智能、机器学习、深度学习的概要,使读者对相关知识进行全面的了解。第2、3章介绍机器学习的基础知识。第4、5、6章分别讲述三种主要的神经网络模型:前馈神经 网络、卷积神经网络和循环神经网络。第7章介绍神经网络的优化与正则化方法。第8章介绍神经网络中的注意力机制和外部记忆。第9章简要介绍一些无监督学习方法。第10章介绍一些模型独立的机器学习方法:集成学习、自训练、协同训练多任务学习、迁移学习、终身学习、元学习等,这些都是目前深度学习的难点和热点问题。第11章介绍概率图模型的基本概念,为后面的章节进行铺垫。第12章介绍两种早期的深度学习模型:玻尔兹曼机和深度信念网络。第13章介绍最近两年发展十分迅速的深度生成模型:变分自编码器和生成对抗网络。第14章介绍深度强化学习的知识。第15章介绍应用十分广泛的序列生成模型。

  • 绪论
  • 机器学习概述
  • 线性模型
  • 前馈神经网络
  • 卷积神经网络
  • 循环神经网络
  • 网络优化与正则化
  • 注意力机制与外部记忆
  • 无监督学习
  • 模型独立的学习方式
  • 概率图模型
  • 深度信念网络
  • 深度生成模型
  • 深度强化学习
  • 序列生成模型 一个过时版本:词嵌入与语言模型
  • 数学基础
成为VIP会员查看完整内容
0
64
小贴士
相关VIP内容
专知会员服务
39+阅读 · 2020年12月18日
专知会员服务
42+阅读 · 2020年12月5日
专知会员服务
140+阅读 · 2020年11月24日
专知会员服务
54+阅读 · 2020年2月3日
【干货51页PPT】深度学习理论理解探索
专知会员服务
39+阅读 · 2019年12月24日
复旦大学邱锡鹏老师《神经网络与深度学习》书册最新版
神经网络与深度学习,复旦大学邱锡鹏老师
专知会员服务
64+阅读 · 2019年9月24日
相关资讯
深度学习的下一步:Transformer和注意力机制
云头条
33+阅读 · 2019年9月14日
【学生论坛】详解记忆增强神经网络
中国科学院自动化研究所
93+阅读 · 2018年11月15日
SFFAI 分享 | 王克欣 : 详解记忆增强神经网络
人工智能前沿讲习班
23+阅读 · 2018年10月26日
可视化循环神经网络的注意力机制
论智
21+阅读 · 2018年9月23日
深度学习循环神经网络详解
七月在线实验室
13+阅读 · 2018年5月28日
基础 | 基于注意力机制的seq2seq网络
黑龙江大学自然语言处理实验室
15+阅读 · 2018年3月7日
深度学习基础之LSTM
全球人工智能
17+阅读 · 2017年12月18日
【深度学习】深度学习与神经科学相遇
产业智能官
6+阅读 · 2017年12月17日
相关论文
Bayesian Attention Belief Networks
Shujian Zhang,Xinjie Fan,Bo Chen,Mingyuan Zhou
5+阅读 · 6月9日
Attention Forcing for Sequence-to-sequence Model Training
Qingyun Dou,Yiting Lu,Joshua Efiong,Mark J. F. Gales
6+阅读 · 2019年9月26日
Area Attention
Yang Li,Lukasz Kaiser,Samy Bengio,Si Si
4+阅读 · 2019年2月5日
Matthew MacKay,Paul Vicol,Jimmy Ba,Roger Grosse
3+阅读 · 2018年10月25日
Sandeep Subramanian,Tong Wang,Xingdi Yuan,Saizheng Zhang,Yoshua Bengio,Adam Trischler
4+阅读 · 2018年5月30日
Jing Xu,Rui Zhao,Feng Zhu,Huaming Wang,Wanli Ouyang
8+阅读 · 2018年5月16日
Tharindu Fernando,Simon Denman,Sridha Sridharan,Clinton Fookes
4+阅读 · 2018年3月9日
Jiaxuan You,Rex Ying,Xiang Ren,William L. Hamilton,Jure Leskovec
4+阅读 · 2018年2月24日
Hongwei Wang,Fuzheng Zhang,Xing Xie,Minyi Guo
19+阅读 · 2018年1月30日
Souvik Kundu,Hwee Tou Ng
6+阅读 · 2018年1月25日
Top