【ICML2021】异质风险最小化，Heterogeneous Risk Minimization

基于经验风险最小化的机器学习算法由于贪心地利用训练数据之间的相关性，在分布位移下不稳定，因此泛化性能较差。近年来，利用多个训练环境来寻找非变量关系的非变量学习方法被提出用于非分布泛化(OOD)。然而，现代数据集通常是通过合并来自多个源的数据来组装的，而没有显式的源标签。由此产生的未观察到的异质性使得许多不变学习方法不适用。本文提出了异质风险最小化(HRM)框架，以实现数据之间的潜在异质性和不变关系的联合学习，从而在分布发生变化的情况下实现稳定的预测。我们从理论上描述了不变学习中环境标签的角色，并证明了我们新提出的HRM框架。大量的实验结果验证了我们的HRM的有效性。

https://arxiv.org/abs/2105.03818