【ICLR2022】分布外泛化的不确定性建模

尽管深度神经网络在各种视觉任务中取得了显著的进展，但在非分布场景下测试时，其性能仍存在明显的下降。我们认为可以对特征统计量(均值和标准差)进行适当的操作，以提高深度学习模型的泛化能力。常用的方法往往把特征统计量看作是由学习到的特征量测量出来的确定性值，而没有明确考虑测试过程中可能发生的域转移所引起的不确定性统计差异。在训练过程中，利用综合特征统计量对域转移的不确定性进行建模，提高了网络的泛化能力。具体地说，我们假设在考虑了潜在的不确定性后，特征统计量服从多元高斯分布。因此，每个特征统计量不再是一个确定性的值，而是一个具有不同分布可能性的概率点。在特征统计量不确定的情况下，对模型进行训练，可以减轻区域扰动，对潜在的区域漂移具有更好的鲁棒性。我们的方法可以很容易地集成到网络中，而不需要额外的参数。大量实验表明，该方法能够持续提高网络在多种视觉任务下的泛化能力，包括图像分类、语义分割和实例检索。代码将很快在https://github.com/lixiaotong97/DSU发布。

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“UODG” 就可以获取《【ICLR2022】分布外泛化的不确定性建模》专知下载链接

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取70000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取70000+AI主题知识资源