【NeurIPS2021】学习用于分布外预测的因果语义表示

学习用于分布外预测的因果语义表示

Learning Causal Semantic Representation for Out-of-Distribution Prediction 论文摘要：标准的有监督学习方法特别是深度学习方法对分布外样例的预测表现欠佳，主要由于其学到的表示难免会混淆语义因素和多样因素，因为两者在特定环境下具有特定的相关性，但只有语义因素是输出变量的因。为此，我们通过对变量间因果关系的分析，将这两个因素分开建模，进而提出了一个因果语义生成模型，并建立了相应的分布外预测方法用于解决常见且有挑战性的单训练域的情况。此方法源自因果不变性原理，并基于变分贝叶斯框架实现，其中引入了一个新颖的设计既实现了高效训练又便于预测。理论上，我们证明了一定条件下，此模型可通过拟合训练数据来识别语义因素，且这种识别保证了分布外泛化误差的有界性和成功的领域自适应。实验结果表明所提方法比主流基线方法具有更好的分布外预测表现。