【ICLR2022】分布外泛化的不确定性建模

尽管深度神经网络在各种视觉任务中取得了显著的进展，但在非分布场景下测试时，其性能仍存在明显的下降。我们认为可以对特征统计量(均值和标准差)进行适当的操作，以提高深度学习模型的泛化能力。常用的方法往往把特征统计量看作是由学习到的特征量测量出来的确定性值，而没有明确考虑测试过程中可能发生的域转移所引起的不确定性统计差异。在训练过程中，利用综合特征统计量对域转移的不确定性进行建模，提高了网络的泛化能力。具体地说，我们假设在考虑了潜在的不确定性后，特征统计量服从多元高斯分布。因此，每个特征统计量不再是一个确定性的值，而是一个具有不同分布可能性的概率点。在特征统计量不确定的情况下，对模型进行训练，可以减轻区域扰动，对潜在的区域漂移具有更好的鲁棒性。我们的方法可以很容易地集成到网络中，而不需要额外的参数。大量实验表明，该方法能够持续提高网络在多种视觉任务下的泛化能力，包括图像分类、语义分割和实例检索。代码将很快在https://github.com/lixiaotong97/DSU发布。