【牛津大学博士论文】机器学习中的对称性与泛化，158页pdf

这项工作旨在理解不变性和等变性对监督学习中泛化的影响。我们利用平均算子的视角来展示，对于任何非等变的预测器，存在一个具有严格更低测试风险的等变预测器，适用于所有正确指定等变性的回归问题。这构成了一个严格的证明：对称性（以不变性或等变性的形式）是一种有用的归纳偏差。 我们将这些想法应用于随机设计最小二乘法和核岭回归中的等变性和不变性。这使我们能够在更具体的设置中指定预期测试风险的减少，并根据群体、模型和数据的属性来表达它。 在此过程中，我们给出了例子和额外的结果，以展示平均算子方法在分析等变预测器时的实用性。此外，我们采用了另一种视角，将使用不变模型进行学习的常见直觉形式化为关于轨道代表的问题。这种形式主义自然地扩展到对等变模型的类似直觉。我们通过连接这两种视角并提出未来工作的一些想法来结束。