【ICML2020】最小化验证损失代理来搜索最佳神经网络结构

Neural Architecture Search in a Proxy Validation Loss Landscape

本文通过最小化验证损失代理来搜索最佳神经网络结构。现有的神经结构搜索（NAS）方法在给定最新的网络权重的情况下发现基于验证样本的最佳神经网络结构。但是，由于在NAS中需要多次重复进行反向传播，使用大量验证样本进行反向传播可能会非常耗时。在本文中，我们建议通过学习从神经网络结构到对应的损失的映射来近似验证损失情况。因此，可以很容易地将最佳神经网络结构识别为该代理验证损失范围的最小值。同时，本文进一步提出了一种新的采样策略，可以有效地近似损失情况。理论分析表明，与均匀采样相比，我们的采样策略可以达到更低的错误率和更低的标签复杂度。在标准数据集上的实验结果表明，通过本方法进行神经结构搜索可以在较低的搜索时间内搜索到精度很高的网络结构。

地址：

https://proceedings.icml.cc/static/paper_files/icml/2020/439-Paper.pdf

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“NASP” 可以获取《【ICML2020】最小化验证损失代理来搜索最佳神经网络结构》专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“阅读原文”，了解使用专知，查看获取5000+AI主题知识资源