题目: Generative Teaching Networks: Accelerating Neural Architecture Search by Learning to Generate Synthetic Training Data

摘要:

这篇论文探讨了一个有趣的问题,即我们是否可以创建自动生成训练数据、学习环境和课程的学习算法,以帮助人工智能智能体快速学习。我们证明了这种算法可以通过生成式教学网络(GTNs)来实现,生成式教学网络是一种理论上适用于有监督、无监督和强化学习的通用方法,尽管我们的实验只关注有监督的情况。GTNS是生成数据和训练环境的深度神经网络,学习者(例如,一个新初始化的神经网络)在对目标任务进行测试之前需要进行几个SGD步骤的训练。然后,我们通过元梯度来区分整个学习过程,更新GTN参数,以提高目标任务的性能。GTNS的有益特性是,理论上它们可以生成任何类型的数据或培训环境,从而使它们的潜在影响很大。本文介绍了GTNS,讨论了它们的潜力,并展示了它们可以极大地加速学习。我们还演示了一个实际的和令人兴奋的应用:加速评估候选架构的神经架构搜索(NAS),这是由这种评估的速度限制,使大量的加速在NAS。GTN-NAS改进了NAS的状态,在控制搜索建议机制时可以找到性能更好的架构。GTN-NAS还可以与现有的最先进的方法相竞争,这些方法在使用比典型NAS方法少几个数量级的计算量的情况下获得最佳性能。展望未来,GTNs可能代表着朝着算法的宏伟目标迈出的第一步,算法可以生成自己的训练数据,并在此过程中打开各种有趣的新研究问题和方向。

作者简介:

Felipe Petroski Such是一位专注于深度神经进化、强化学习和高性能计算的科学家。在加入Uber AI实验室之前,他获得了RIT的BS/MS学位,在那里他开发了图形应用和ICR的深度学习架构,以及使用fpga的硬件加速。

Aditya RawalAditya Rawal是Uber AI实验室的研究科学家。他的兴趣在于两个研究领域的融合——神经进化和深度学习。在此之前,Aditya在奥斯汀的德克萨斯大学获得了计算机科学的硕士/博士学位,在他的博士期间,他开发了神经进化算法来进化序列预测问题的递推架构,并构建了合作、竞争和交流的多主体系统。

Joel Lehman之前是哥本哈根IT大学的助理教授,研究神经网络、进化算法和强化学习。

成为VIP会员查看完整内容
12

相关内容

智能体,顾名思义,就是具有智能的实体,英文名是Agent。
[ICML-Google]先宽后窄:对深度薄网络的有效训练
专知会员服务
33+阅读 · 2020年7月5日
元学习—Meta Learning的兴起
专知
44+阅读 · 2019年10月19日
硬件加速神经网络综述
计算机研究与发展
23+阅读 · 2019年2月1日
Google:数据并行对神经网络训练用时的影响
【GAN货】用神经网络生成音乐
专知
12+阅读 · 2018年9月15日
学习如何学习的算法:简述元学习研究方向现状
深度学习世界
6+阅读 · 2018年4月9日
干货|深度神经网络(DNN)反向传播算法(BP)
全球人工智能
7+阅读 · 2018年1月12日
TResNet: High Performance GPU-Dedicated Architecture
Arxiv
7+阅读 · 2020年3月30日
Paraphrase Generation with Deep Reinforcement Learning
Relational Deep Reinforcement Learning
Arxiv
10+阅读 · 2018年6月28日
Arxiv
3+阅读 · 2018年6月24日
VIP会员
相关VIP内容
[ICML-Google]先宽后窄:对深度薄网络的有效训练
专知会员服务
33+阅读 · 2020年7月5日
相关资讯
元学习—Meta Learning的兴起
专知
44+阅读 · 2019年10月19日
硬件加速神经网络综述
计算机研究与发展
23+阅读 · 2019年2月1日
Google:数据并行对神经网络训练用时的影响
【GAN货】用神经网络生成音乐
专知
12+阅读 · 2018年9月15日
学习如何学习的算法:简述元学习研究方向现状
深度学习世界
6+阅读 · 2018年4月9日
干货|深度神经网络(DNN)反向传播算法(BP)
全球人工智能
7+阅读 · 2018年1月12日
微信扫码咨询专知VIP会员