【牛津大学博士论文】机器学习中的对称性与泛化

这项工作旨在理解不变性和共变性对监督学习中泛化能力的影响。我们利用平均算子提供的视角，证明了对于任何非共变的预测器，存在一个共变的预测器，其在所有共变性正确指定的回归问题上具有严格较低的测试风险。这构成了对称性（以不变性或共变性的形式）作为有用归纳偏置的严格证明。

我们将这些思想应用于随机设计最小二乘法和核岭回归中的共变性和不变性。这使我们能够在更具体的情境中指定预期测试风险的减少，并通过群体、模型和数据的属性来表达。

在过程中，我们给出了示例和附加结果，展示了平均算子方法在分析共变预测器中的实用性。此外，我们采用了另一种视角，形式化了常见的直觉，即使用不变模型的学习问题归结为轨道代表的形式问题。该形式化自然地扩展到共变模型的类似直觉。最后，我们将这两种视角联系起来，并给出一些未来工作的思路。