We reduce the computational cost of Neural AutoML with transfer learning. AutoML relieves human effort by automating the design of ML algorithms. Neural AutoML has become popular for the design of deep learning architectures, however, this method has a high computation cost.To address this we propose Transfer Neural AutoML that uses knowledge from prior tasks to speed up network design. We extend RL-based architecture search methods to support parallel training on multiple tasks and then transfer the search strategy to new tasks. On language and image classification data, Transfer Neural AutoML reduces convergence time over single-task training by over an order of magnitude on many tasks.


翻译:我们通过转移学习来降低神经自动移动的计算成本。 自动移动解除了人类的努力,将ML算法的设计自动化。 神经自动移动在深层学习结构的设计中变得很受欢迎, 但是,这个方法的计算成本很高。 为了解决这个问题,我们提议转移神经自动移动, 利用先前任务的知识来加快网络设计。 我们扩展基于RL的建筑搜索方法, 以支持关于多重任务的平行培训, 然后将搜索战略转移到新的任务。 关于语言和图像分类数据, 传输神经自动移动将单任务培训的融合时间减少, 超过许多任务的规模 。

4
下载
关闭预览

相关内容

100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
111+阅读 · 2020年3月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
105+阅读 · 2019年10月12日
Hierarchically Structured Meta-learning
CreateAMind
14+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
11+阅读 · 2019年5月18日
AutoML与轻量模型大列表
专知
5+阅读 · 2019年4月29日
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
22+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
9+阅读 · 2019年1月2日
自动机器学习(AutoML)最新综述
PaperWeekly
30+阅读 · 2018年11月7日
【推荐】全卷积语义分割综述
机器学习研究会
18+阅读 · 2017年8月31日
Learning in the Frequency Domain
Arxiv
10+阅读 · 2020年3月12日
AutoML: A Survey of the State-of-the-Art
Arxiv
56+阅读 · 2019年8月14日
Risk-Aware Active Inverse Reinforcement Learning
Arxiv
5+阅读 · 2019年1月8日
Adversarial Transfer Learning
Arxiv
10+阅读 · 2018年12月6日
Meta-Transfer Learning for Few-Shot Learning
Arxiv
6+阅读 · 2018年12月6日
Multi-task Deep Reinforcement Learning with PopArt
Arxiv
3+阅读 · 2018年9月12日
Neural Architecture Optimization
Arxiv
8+阅读 · 2018年9月5日
A Survey on Deep Transfer Learning
Arxiv
11+阅读 · 2018年8月6日
Arxiv
7+阅读 · 2018年5月23日
VIP会员
相关VIP内容
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
14+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
11+阅读 · 2019年5月18日
AutoML与轻量模型大列表
专知
5+阅读 · 2019年4月29日
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
22+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
9+阅读 · 2019年1月2日
自动机器学习(AutoML)最新综述
PaperWeekly
30+阅读 · 2018年11月7日
【推荐】全卷积语义分割综述
机器学习研究会
18+阅读 · 2017年8月31日
相关论文
Learning in the Frequency Domain
Arxiv
10+阅读 · 2020年3月12日
AutoML: A Survey of the State-of-the-Art
Arxiv
56+阅读 · 2019年8月14日
Risk-Aware Active Inverse Reinforcement Learning
Arxiv
5+阅读 · 2019年1月8日
Adversarial Transfer Learning
Arxiv
10+阅读 · 2018年12月6日
Meta-Transfer Learning for Few-Shot Learning
Arxiv
6+阅读 · 2018年12月6日
Multi-task Deep Reinforcement Learning with PopArt
Arxiv
3+阅读 · 2018年9月12日
Neural Architecture Optimization
Arxiv
8+阅读 · 2018年9月5日
A Survey on Deep Transfer Learning
Arxiv
11+阅读 · 2018年8月6日
Arxiv
7+阅读 · 2018年5月23日
Top
微信扫码咨询专知VIP会员