【干货书】有限样本学习-元学习及其在通信系统中的应用，134页pdf，

2022 年 10 月 8 日 专知

深度学习在许多机器学习任务中取得了显著的成功，如图像分类、语音识别和游戏。然而，这些突破往往很难转化为现实的工程系统，因为深度学习模型需要大量的训练样本，而在实践中获取这些样本的成本很高。为解决标记数据稀缺问题，少样本元学习优化了能够高效快速适应新任务的学习算法。虽然元学习在机器学习文献中获得了极大的兴趣，但它的工作原理和理论基础在工程社区中还没有得到很好的理解。本综述专著通过涵盖原理、算法、理论和工程应用对元学习进行了介绍。在介绍了元学习与传统学习和联合学习的比较之后，我们描述了主要的元学习算法，以及定义元学习技术的一般双层优化框架。然后，我们从统计学习的角度总结了元学习泛化能力的已知结果。接下来讨论了元学习在通信系统中的应用，包括解码和功率分配，然后介绍了元学习与新兴计算技术(即神经形态计算和量子计算)整合的相关方面。该专著以开放研究挑战的概述结束。

实现知识共享的具体方式取决于兴趣的设置和数据的可用性。这些区别的核心是学习任务的概念。学习任务通常指特定的有监督、无监督或强化学习实例，其特征是底层数据生成分布。

实现知识共享的具体方式取决于兴趣的设置和数据的可用性。这些区别的核心是学习任务的概念。学习任务通常是指特定的有监督、无监督或强化学习实例，其特征是底层数据生成分布和损失或奖励函数。例如，一个学习任务可能相当于根据标记的例子将图像分类到许多类别的问题。有了这个定义，在较高的层次上，我们可以区分以下方法(参见，例如[1])。

迁移学习:在迁移学习中，我们关注两个学习任务——源任务和目标任务。虽然目标任务的数据可能是有限的，但这两个任务通常都有数据可用。目标是通过也利用来自源任务的数据来处理目标任务，目的是减少目标任务的数据需求。在图像分类的例子中，迁移学习可以促进分类器在目标分类任务(例如区分猫和狗的图像)中的优化，使用数据来区分另一个分类任务(例如区分茶壶和杯子的图像)。

多任务学习和联合学习:在多任务学习中，有K个> 1个学习任务，其中一个感兴趣的是学习一种机器学习模型，它能够基于所有任务的数据池处理所有任务。一般来说，机器学习模型有一些共享的组件，例如神经网络的层，也有与每个任务相关的独立部分，例如分类器的“头”。当模型完全跨任务共享时，多任务学习也称为联合学习。在图像分类的例子中，多任务学习将优化分类器产生决策的一组分类任务。
元学习:在元学习中，我们可以访问许多任务的数据，但我们对训练机器学习模型不感兴趣，就像在多任务学习中那样。相反，我们希望使用来自多个任务的数据来设计一个训练程序，而不是产生一个单一的机器学习模型。具体来说，目标是确保元学习训练过程能够有效优化机器学习模型，用于任何先验未知的学习任务。因此，在元学习设置中，人们不知道目标任务将是什么，尽管人们期望它与那些有数据可获得的目标任务相似。通过优化学习过程，元学习实现了一种学习的形式。在图像分类示例中，元学习将生成一个过程，能够通过使用来自其他类似分类任务池的数据，为任何新的分类任务优化分类器。

这篇综述专著通过涵盖原理、算法、理论和工程应用提供了元学习的介绍。在本节中，我们首先通过与传统机器学习和多任务学习的对比，对元学习进行首次阐述。本章以对各论其余部分组织的描述结束。

该专著的其余部分组织如下。

第二节。元学习算法:本节提供了最常见的元学习算法的分类和介绍，包括模型无关元学习(MAML)。

第三节。元学习的两层优化:第3节介绍了基于优化的元学习的一般视角，它将元学习视为随机两层优化的一种形式。

第四节。元学习的统计学习理论:本节从泛化的不同角度重新审视元学习。具体来说，它从理论角度研究了元学习算法的性能，即它们在元训练数据集之外推广到新任务的能力。

第五节。元学习在通信中的应用:本节介绍了元学习在设计通信系统的工程问题中的应用的几个例子。回顾的应用例子包括解调和功率控制。

第六节。与新兴计算技术的集成:本节强调了元学习和两种新兴计算技术之间的潜在协同作用，即神经形态和量子计算。

第七节。展望:最后一部分通过对开放问题的简要回顾和进一步的阅读和研究方向，对元学习领域进行了展望。