【ICLR 2023】Zico:基于梯度变异逆系数的零样本NAS

神经架构搜索(NAS)被广泛用于在大量候选架构中自动设计性能最佳的神经网络。为了减少搜索时间，零样本NAS旨在设计无需训练的代理，可以预测给定架构的测试性能。然而，正如最近所示，迄今为止提出的零样本代理中，没有一个实际上可以比简单代理更好地持续工作，即网络参数的数量(#Params)。为改善这种状况，作为主要的理论贡献，本文首先揭示了不同样本的一些特定梯度属性如何影响神经网络的收敛速度和泛化能力。基于这种理论分析，本文提出了一种新的零样本代理ZiCo，这是第一个始终比#Params工作得更好的代理。实验表明，ZiCo在几个流行的nas基准(NASBench101, NATSBench-SSS/TSS, TransNASBench-101)上的工作性能优于最先进的(SOTA)代理，适用于多种应用(例如，图像分类/重建和像素级预测)。通过ZiCo找到的最优架构与通过单次和多次NAS方法找到的架构一样具有竞争力，但搜索时间要少得多。例如，基于zico的NAS可以在0.4 GPU天内，在ImageNet上4.5亿、6亿和1亿FLOPs的推理预算下找到最优的体系结构，测试精度分别为78.1%、79.4%和80.4%。