【ICLR2022】分布外泛化的不确定性建模

2022 年 2 月 11 日 专知


尽管深度神经网络在各种视觉任务中取得了显著的进展,但在非分布场景下测试时,其性能仍存在明显的下降。我们认为可以对特征统计量(均值和标准差)进行适当的操作,以提高深度学习模型的泛化能力。常用的方法往往把特征统计量看作是由学习到的特征量测量出来的确定性值,而没有明确考虑测试过程中可能发生的域转移所引起的不确定性统计差异。在训练过程中,利用综合特征统计量对域转移的不确定性进行建模,提高了网络的泛化能力。具体地说,我们假设在考虑了潜在的不确定性后,特征统计量服从多元高斯分布。因此,每个特征统计量不再是一个确定性的值,而是一个具有不同分布可能性的概率点。在特征统计量不确定的情况下,对模型进行训练,可以减轻区域扰动,对潜在的区域漂移具有更好的鲁棒性。我们的方法可以很容易地集成到网络中,而不需要额外的参数。大量实验表明,该方法能够持续提高网络在多种视觉任务下的泛化能力,包括图像分类、语义分割和实例检索。代码将很快在https://github.com/lixiaotong97/DSU发布。




专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“UODG” 就可以获取【ICLR2022】分布外泛化的不确定性建模》专知下载链接


专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取70000+AI主题干货知识资料!


欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取70000+AI主题知识资源
登录查看更多
2

相关内容

【ICLR2022】图神经网络复杂时间序列建模
专知会员服务
83+阅读 · 2022年4月15日
【ICLR2022】基于任务相关性的元学习泛化边界
专知会员服务
18+阅读 · 2022年2月8日
【ICLR2022】Transformers亦能贝叶斯推断
专知会员服务
24+阅读 · 2021年12月23日
【NeurIPS2021】基于关联与识别的少样本目标检测
专知会员服务
20+阅读 · 2021年11月29日
专知会员服务
13+阅读 · 2021年10月13日
专知会员服务
28+阅读 · 2021年5月20日
【ICLR2021】自监督蒸馏学习视觉表示
专知会员服务
32+阅读 · 2021年4月14日
【NeurIPS2020-FB】学习具有可解码信息瓶颈的最优表示
专知会员服务
22+阅读 · 2020年10月13日
CVPR 2022 | 用于目标检测的双加权标签分配
专知
0+阅读 · 2022年3月26日
【ICLR2022-MIT】图关系域适应
专知
1+阅读 · 2022年2月9日
【ICML2021】基于观察的跨域模仿学习
专知
2+阅读 · 2021年8月30日
【ICLR2021】自监督蒸馏学习视觉表示
专知
1+阅读 · 2021年4月14日
【MIT】硬负样本的对比学习
专知
13+阅读 · 2020年10月15日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Residual Mixture of Experts
Arxiv
0+阅读 · 2022年4月20日
Arxiv
0+阅读 · 2022年4月19日
VIP会员
相关VIP内容
【ICLR2022】图神经网络复杂时间序列建模
专知会员服务
83+阅读 · 2022年4月15日
【ICLR2022】基于任务相关性的元学习泛化边界
专知会员服务
18+阅读 · 2022年2月8日
【ICLR2022】Transformers亦能贝叶斯推断
专知会员服务
24+阅读 · 2021年12月23日
【NeurIPS2021】基于关联与识别的少样本目标检测
专知会员服务
20+阅读 · 2021年11月29日
专知会员服务
13+阅读 · 2021年10月13日
专知会员服务
28+阅读 · 2021年5月20日
【ICLR2021】自监督蒸馏学习视觉表示
专知会员服务
32+阅读 · 2021年4月14日
【NeurIPS2020-FB】学习具有可解码信息瓶颈的最优表示
专知会员服务
22+阅读 · 2020年10月13日
相关资讯
CVPR 2022 | 用于目标检测的双加权标签分配
专知
0+阅读 · 2022年3月26日
【ICLR2022-MIT】图关系域适应
专知
1+阅读 · 2022年2月9日
【ICML2021】基于观察的跨域模仿学习
专知
2+阅读 · 2021年8月30日
【ICLR2021】自监督蒸馏学习视觉表示
专知
1+阅读 · 2021年4月14日
【MIT】硬负样本的对比学习
专知
13+阅读 · 2020年10月15日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员