【CUHK博士论文】现代机器学习中的因果性学习

在过去几十年里，机器学习配合经验风险最小化已经展现了在学习和利用数据统计模式方面的巨大能力，甚至超越了人类。尽管取得了成功，但经验风险最小化避免了对因果性的建模——理解和处理变化的方式，这对人类智能来说是基本的。当模型部署到训练环境之外时，处处都是分布变化。例如，自动驾驶系统经常需要处理在训练期间未曾遇到的新天气条件；一个人工智能辅助的药物发现系统需要预测分子对于新型病毒如2019冠状病毒的生化特性。这使得分布外泛化问题对于传统机器学习来说充满挑战。 在这篇论文中，我们探讨如何在现代机器学习中的广泛任务中纳入和实现因果性。特别是，我们利用独立因果机制原则所暗示的不变性，即，产生效果的因果机制不会相互通报或影响。因此，目标变量给定其原因的条件分布在分布变化下是不变的。有了因果不变原则，我们首先将其实例化到图上——一种在许多真实世界工业和科学应用中无处不在的通用数据结构，如金融网络和分子。然后，我们进一步展示学习因果性如何有利于现代机器学习的许多理想特性，如(i)分布外泛化能力；(ii)可解释性；以及(iii)对抗性攻击的鲁棒性。 另一方面，实现机器学习中的因果性，对于传统机器学习中的优化提出了一个难题，因为它经常与经验风险最小化的目标相矛盾。因此，我们描述了这些矛盾如何影响特征学习和优化，并提出了新的表示学习和优化范式，适当处理优化难题。通过适当的目标和有效的因果不变学习实现方案，这篇论文搭建了迈向现代机器学习新基础的第一步。