【ICML2021-北大阿里】KNAS：绿色神经架构搜索

许多现有的神经结构搜索(NAS)解决方案依赖于下游训练进行结构评估，这需要大量的计算。考虑到这些计算带来了巨大的碳足迹，本文旨在探索一种绿色的(即环境友好的)NAS解决方案，无需训练即可评估架构。直观地说，由体系架构本身诱导的梯度直接决定了收敛和泛化的结果。这促使我们提出梯度核假设:梯度可以作为下游训练的粗粒度代理来评估随机初始化的网络。为了支持这一假设，我们进行了理论分析，并找到了一个与训练损失和验证性能有良好相关性的实用梯度核。根据这一假设，我们提出了一种新的基于内核的架构搜索方法KNAS。实验表明，KNAS在图像分类任务上比“先训练后测试”的方法更快地获得了具有竞争力的结果。此外，极低的搜索成本使其得到了广泛的应用。在两个文本分类任务中，搜索网络的性能也优于强基准RoBERTA-large。

http://proceedings.mlr.press/v139/xu21m.html