【ICML2021】使用Transformers编码的计算感知神经架构

近期工作(White et al.， 2020a;Yan et al.， 2020)证明了架构编码在神经架构搜索(NAS)中的重要性。这些编码对神经结构的结构或计算信息进行编码。与结构感知编码相比，计算感知编码以相似的精度映射到同一区域的架构，提高了下游架构搜索性能(Zhang et al., 2019; White et al., 2020a)。在本文中，我们介绍了一种基于计算感知Transformer的编码方法，称为CATE。与现有基于固定变换的计算感知编码(如路径编码)不同，CATE采用了成对的预训练方案，使用交叉注意的transformer来学习计算感知编码。这种学习编码包含神经结构的密集和上下文化计算信息。在小搜索空间和大搜索空间中，我们比较了在三个主要的编码依赖NAS子程序下，CATE和11种编码方式。我们的实验表明，CATE有利于下游搜索，特别是在大的搜索空间中。此外，外部搜索空间实验证明了它在训练所处的搜索空间之外具有优越的泛化能力。

https://arxiv.org/abs/2102.07108