【ICML2021】多任务学习与元学习的衔接:面向高效训练与有效适应

多任务学习(Multi-task learning, MTL)旨在通过对多个相关任务的联合学习来提高任务的泛化能力。作为对比，除了联合训练方案，现代元学习允许在测试阶段进行一些不可见的、标签有限的任务，希望能够快速适应它们。尽管MTL和元学习在问题表述上存在细微的差异，但两种学习范式都认为，现有训练任务之间的共享结构可以导致更好的泛化和适应性。本文通过理论分析和实证调查，进一步了解了这两种学习模式之间的密切联系。理论上，我们首先证明了MTL与一类基于梯度的元学习(GBML)算法具有相同的优化公式。然后我们证明了对于具有足够深度的过参数化神经网络，MTL和GBML学习到的预测函数是接近的。特别是，这一结果表明，这两个模型给出的预测是相似的，在相同的看不见的任务。通过实证，我们证实了我们的理论发现，通过适当的实现，MTL可以在一组少样本分类基准上与先进的GBML算法相媲美。由于现有的GBML算法经常涉及代价高昂的二阶两级优化，我们的一阶MTL方法在大型数据集(如微型imagenet)上快了一个数量级。我们相信，这项工作可以帮助弥合这两种学习模式之间的差距，并提供一个计算效率高的替代GBML，也支持快速任务适应。

https://www.zhuanzhi.ai/paper/5d6fac14a84a1a6163d80eb46284b0af