State-of-the-art results in deep learning have been improving steadily, in good part due to the use of larger models. However, widespread use is constrained by device hardware limitations, resulting in a substantial performance gap between state-of-the-art models and those that can be effectively deployed on small devices. While Knowledge Distillation (KD) theoretically enables small student models to emulate larger teacher models, in practice selecting a good student architecture requires considerable human expertise. Neural Architecture Search (NAS) appears as a natural solution to this problem but most approaches can be inefficient, as most of the computation is spent comparing architectures sampled from the same distribution, with negligible differences in performance. In this paper, we propose to instead search for a family of student architectures sharing the property of being good at learning from a given teacher. Our approach AutoKD, powered by Bayesian Optimization, explores a flexible graph-based search space, enabling us to automatically learn the optimal student architecture distribution and KD parameters, while being 20x more sample efficient compared to existing state-of-the-art. We evaluate our method on 3 datasets; on large images specifically, we reach the teacher performance while using 3x less memory and 10x less parameters. Finally, while AutoKD uses the traditional KD loss, it outperforms more advanced KD variants using hand-designed students.


翻译:深层次学习的最新成果一直在稳步改善,这在很大程度上是由于使用大型模型所致。然而,由于设备硬件限制,广泛使用受到设备硬件限制的限制,导致最先进的模型和能够有效地在小型设备上部署的模型之间存在巨大的性能差距。虽然知识蒸馏(KD)理论上使小型学生模型能够模仿更大的教师模型,但在实践中选择良好的学生结构需要相当的人类专门知识。神经结构搜索(NAS)似乎是解决这一问题的自然解决方案,但大多数方法可能效率较低,因为大多数计算方法都用的是同一种分布的抽样结构,业绩差异微乎其微。在本文件中,我们提议取而代之的是,在与某个教师一起学习的先进模型中,共享学习良好特性的学生结构家庭。我们的方法AutoKD,由Bayesian Optimization 所推动,探索一个灵活的基于图表的搜索空间,使我们能够自动学习最佳的学生结构分布和KD参数,而与现有的状态相比,其样本效率则更高20x。我们用3个数据集来评估我们的方法,而使用Kx的高级模型,而在10个高级模型上,我们用更低的成绩模型上,我们用10个高级的成绩模型,我们用的是KForx。最后我们用的是K。

0
下载
关闭预览

相关内容

专知会员服务
42+阅读 · 2021年9月5日
专知会员服务
23+阅读 · 2021年6月8日
【知识图谱@ACL2020】Knowledge Graphs in Natural Language Processing
专知会员服务
65+阅读 · 2020年7月12日
图卷积神经网络蒸馏知识,Distillating Knowledge from GCN
专知会员服务
94+阅读 · 2020年3月25日
计算机 | 中低难度国际会议信息8条
Call4Papers
9+阅读 · 2019年6月19日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
计算机类 | LICS 2019等国际会议信息7条
Call4Papers
3+阅读 · 2018年12月17日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Arxiv
8+阅读 · 2021年1月28日
Arxiv
6+阅读 · 2020年10月8日
Arxiv
8+阅读 · 2020年6月15日
已删除
Arxiv
32+阅读 · 2020年3月23日
VIP会员
相关资讯
计算机 | 中低难度国际会议信息8条
Call4Papers
9+阅读 · 2019年6月19日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
计算机类 | LICS 2019等国际会议信息7条
Call4Papers
3+阅读 · 2018年12月17日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Top
微信扫码咨询专知VIP会员