【ETHZ博士论文】有限数据中的元学习先验：从理论到实践

与机器学习系统不同，人类可以从少数示例中学习新概念，并有效适应变化的环境。机器学习系统通常需要大量数据来学习类似的概念或适应变化。这是因为它们缺乏领域特定的先验知识（也称为归纳偏差）。为了应对这些缺点，元学习旨在通过数据驱动的方式获得领域特定的归纳偏差，通常是从一组相关数据集中获得。文献中的大多数现有元学习方法依赖于丰富的领域或问题特定的数据集。然而，在实践中，我们通常只能获取有限数量的此类数据集。因此，在本论文中，我们探讨了如何仅从少量数据集中成功进行元学习。为了解决这个问题，我们开发了一个理论框架来理解元学习中的泛化。在此基础上，我们提出了一类可扩展的算法，这些算法通过原理性的元级正则化来进行元学习先验，防止数据集的过拟合。然后，我们研究了确保元学习先验提供可靠不确定性估计的方法，使其适用于交互学习。为此，我们提出了一种在函数空间中的正则化方案，并证明所得到的元学习方法在贝叶斯优化中显著提高了效率。随后，我们将该方法扩展到安全约束设置中。此外，我们引入了一种基于模型的元强化学习方法，用于有效地适应控制策略的变化动态。最后，我们提出了一种新的元学习框架，该框架直接逼近数据生成的随机过程。由于它完全在函数空间中进行元学习，因此不会受到神经网络高维参数空间中先验问题的影响。在整个论文中，我们通过医疗保健、分子生物学和自动化机器学习（AutoML）以及机器人控制等实际应用，实验证明了我们提出的方法的实际有效性。