【ICML2020】最小化验证损失代理来搜索最佳神经网络结构

本文通过最小化验证损失代理来搜索最佳神经网络结构。现有的神经结构搜索（NAS）方法在给定最新的网络权重的情况下发现基于验证样本的最佳神经网络结构。但是，由于在NAS中需要多次重复进行反向传播，使用大量验证样本进行反向传播可能会非常耗时。在本文中，我们建议通过学习从神经网络结构到对应的损失的映射来近似验证损失情况。因此，可以很容易地将最佳神经网络结构识别为该代理验证损失范围的最小值。同时，本文进一步提出了一种新的采样策略，可以有效地近似损失情况。理论分析表明，与均匀采样相比，我们的采样策略可以达到更低的错误率和更低的标签复杂度。在标准数据集上的实验结果表明，通过本方法进行神经结构搜索可以在较低的搜索时间内搜索到精度很高的网络结构。