主题: The resurgence of structure in deep neural networks

摘要: 使用深度神经网络的机器学习(“深度学习”)可以直接从原始输入数据中学习复杂的特征,从而完全消除了从学习管道中提取的手工制作的“硬编码”特征。这导致在多个(以前是脱节的)问题域中实现了最先进的性能,包括计算机视觉,自然语言处理,强化学习和生成建模。这些成功案例几乎都与大量具有标签的训练示例(“大数据”)的可用性并驾齐驱,这些示例具有简单的网格状结构(例如文本或图像),可通过卷积层或循环层加以利用。这是由于神经网络中的自由度数量众多,使得它们的泛化能力容易受到诸如过度拟合之类的影响。但是,在许多领域中,广泛的数据收集并不总是合适,负担得起甚至不可行的。此外,数据通常以更复杂的结构进行组织-大多数现有方法都将简单地丢弃这些结构。在生物医学领域,这类任务的例子很多。与可用于任何给定临床研究的少量受试者,或通过相互作用网络指定的蛋白质之间的关系。我假设,如果深度学习要在这样的环境中发挥其全部潜能,我们需要重新考虑“硬编码”方法-通过结构归纳将关于输入数据中固有结构的假设直接整合到我们的体系结构和学习算法中偏见。在本文中,我通过开发三种注入结构的神经网络体系结构(对稀疏多峰和图结构化数据进行操作),以及图神经网络的结构知悉学习算法,直接证明了这一假设,证明了传统基线模型和算法。

成为VIP会员查看完整内容
18

相关内容

剑桥大学(英语:University of Cambridge;勋衔:Cantab)为一所座落于英国剑桥郡剑桥市的研究型大学。它是英语世界中历史第二悠久的大学,也是世界现存第四古老的大学。剑桥大学的起源为一群牛津大学的学者,因与牛津市民发生冲突而移居至剑桥。剑桥与牛津这两所在中世纪建立的英国大学,在校务运作、学术声望、社会地位等多方面都非常相似,经常合称为“牛剑”
【论文】结构GANs,Structured GANs,
专知会员服务
14+阅读 · 2020年1月16日
图神经网络(Graph Neural Networks,GNN)综述
极市平台
103+阅读 · 2019年11月27日
【论文笔记】Graph U-Nets
专知
76+阅读 · 2019年11月25日
Nature 一周论文导读 | 2019 年 8 月 8 日
科研圈
6+阅读 · 2019年8月18日
Nature 一周论文导读 | 2019 年 5 月 30 日
科研圈
15+阅读 · 2019年6月9日
Nature 一周论文导读 | 2019 年 4 月 4 日
科研圈
7+阅读 · 2019年4月14日
Nature 一周论文导读 | 2019 年 2 月 14 日
科研圈
7+阅读 · 2019年2月24日
Neural Module Networks for Reasoning over Text
Arxiv
9+阅读 · 2019年12月10日
Arxiv
17+阅读 · 2019年3月28日
Arxiv
53+阅读 · 2018年12月11日
Arxiv
15+阅读 · 2018年6月23日
Arxiv
5+阅读 · 2018年4月22日
VIP会员
相关VIP内容
【论文】结构GANs,Structured GANs,
专知会员服务
14+阅读 · 2020年1月16日
相关资讯
图神经网络(Graph Neural Networks,GNN)综述
极市平台
103+阅读 · 2019年11月27日
【论文笔记】Graph U-Nets
专知
76+阅读 · 2019年11月25日
Nature 一周论文导读 | 2019 年 8 月 8 日
科研圈
6+阅读 · 2019年8月18日
Nature 一周论文导读 | 2019 年 5 月 30 日
科研圈
15+阅读 · 2019年6月9日
Nature 一周论文导读 | 2019 年 4 月 4 日
科研圈
7+阅读 · 2019年4月14日
Nature 一周论文导读 | 2019 年 2 月 14 日
科研圈
7+阅读 · 2019年2月24日
微信扫码咨询专知VIP会员