【ICML2021】面向增长数据的自适应神经架构

在真实的应用中，数据通常以增长的方式出现，其中数据量和类的数量可能会动态增加。这将给学习带来重大挑战:随着数据量或类的数量不断增加，人们必须立即调整神经模型的容量，以获得良好的性能。现有的方法要么忽视数据增长的本质，要么寻求对给定数据集独立搜索最优体系结构，因此无法针对变化的数据及时调整体系结构。为了解决这一问题，我们提出了一种神经结构自适应方法，即adaptive eXpert (AdaXpert)，可以在不断增长的数据上有效地调整以前的结构。具体来说，我们引入了一个体系结构调整器，根据以前的体系结构以及当前和以前数据分布之间的不同程度，为每个数据快照生成合适的体系结构。此外，我们提出一个适应条件来确定调整的必要性，从而避免不必要的和耗时的调整。在两种增长场景(增加数据量和类数)上的大量实验证明了所提方法的有效性。

https://www.zhuanzhi.ai/paper/5b09e4a225a2ba1040ba9848b5a5cd24