尽管深度神经网络在各种视觉任务中取得了显著的进展,但在非分布场景下测试时,其性能仍存在明显的下降。我们认为可以对特征统计量(均值和标准差)进行适当的操作,以提高深度学习模型的泛化能力。常用的方法往往把特征统计量看作是由学习到的特征量测量出来的确定性值,而没有明确考虑测试过程中可能发生的域转移所引起的不确定性统计差异。在训练过程中,利用综合特征统计量对域转移的不确定性进行建模,提高了网络的泛化能力。具体地说,我们假设在考虑了潜在的不确定性后,特征统计量服从多元高斯分布。因此,每个特征统计量不再是一个确定性的值,而是一个具有不同分布可能性的概率点。在特征统计量不确定的情况下,对模型进行训练,可以减轻区域扰动,对潜在的区域漂移具有更好的鲁棒性。我们的方法可以很容易地集成到网络中,而不需要额外的参数。大量实验表明,该方法能够持续提高网络在多种视觉任务下的泛化能力,包括图像分类、语义分割和实例检索。代码将很快在https://github.com/lixiaotong97/DSU发布。

成为VIP会员查看完整内容
39

相关内容

【ICLR2022】图神经网络复杂时间序列建模
专知会员服务
83+阅读 · 2022年4月15日
【ICLR2022】基于任务相关性的元学习泛化边界
专知会员服务
18+阅读 · 2022年2月8日
【ICLR2022】Transformers亦能贝叶斯推断
专知会员服务
24+阅读 · 2021年12月23日
专知会员服务
13+阅读 · 2021年10月13日
专知会员服务
23+阅读 · 2021年7月17日
专知会员服务
28+阅读 · 2021年5月20日
【NeurIPS2020-FB】学习具有可解码信息瓶颈的最优表示
专知会员服务
22+阅读 · 2020年10月13日
【ICLR2022】Transformers亦能贝叶斯推断
专知
0+阅读 · 2021年12月23日
【ICLR2021】自监督蒸馏学习视觉表示
专知
1+阅读 · 2021年4月14日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Arxiv
12+阅读 · 2021年10月22日
Arxiv
23+阅读 · 2017年3月9日
VIP会员
相关VIP内容
【ICLR2022】图神经网络复杂时间序列建模
专知会员服务
83+阅读 · 2022年4月15日
【ICLR2022】基于任务相关性的元学习泛化边界
专知会员服务
18+阅读 · 2022年2月8日
【ICLR2022】Transformers亦能贝叶斯推断
专知会员服务
24+阅读 · 2021年12月23日
专知会员服务
13+阅读 · 2021年10月13日
专知会员服务
23+阅读 · 2021年7月17日
专知会员服务
28+阅读 · 2021年5月20日
【NeurIPS2020-FB】学习具有可解码信息瓶颈的最优表示
专知会员服务
22+阅读 · 2020年10月13日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员