【NeurIPS 2020 】神经网络结构生成优化

       神经结构搜索（NAS）旨在以全自动的方式找到表现出色且新颖的神经网络结构。然而现有的搜索空间设计过度依赖于研究者的专业知识，所涵盖的神经网络相对比较单一，导致搜索策略虽然能找到表现不错的结构，却无法发现突破性的新型神经网络。在这篇工作中，我们 1）首次提出了搜索最优的神经网络结构生成分布（architecturegenerator）而不仅仅是单个神经网络(single architecture) 的概念，2）并针对这个概念提出了一个全新的，多阶层的，基于图的搜索空间。该搜索空间不但能生成非常多样化的网络结构，而且只由几个超参来定义。这极大减少了结构搜索的维度，使得我们能高效地使用贝叶斯优化作为搜索策略。与此同时，因为我们拓广了搜索空间（包含众多性能和存储需求差异巨大的有效网络结构），这使得多目标学习在我们的场景下更有意义。我们在六个图像数据集上验证了我们方法（NAGO）的高效性， 并展示了我们的方法能找到非常轻便且性能卓越的网络结构。

https://www.zhuanzhi.ai/paper/32eaa4b0ef54865420bd74ec5d831f7c

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“NAGO” 可以获取《【NeurIPS 2020 】神经网络结构生成优化》专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源