In practical scenarios where training data is limited, many predictive signals in the data can be rather from some biases in data acquisition (i.e., less generalizable), so that one cannot prevent a model from co-adapting on such (so-called) "shortcut" signals: this makes the model fragile in various distribution shifts. To bypass such failure modes, we consider an adversarial threat model under a mutual information constraint to cover a wider class of perturbations in training. This motivates us to extend the standard information bottleneck to additionally model the nuisance information. We propose an autoencoder-based training to implement the objective, as well as practical encoder designs to facilitate the proposed hybrid discriminative-generative training concerning both convolutional- and Transformer-based architectures. Our experimental results show that the proposed scheme improves robustness of learned representations (remarkably without using any domain-specific knowledge), with respect to multiple challenging reliability measures. For example, our model could advance the state-of-the-art on a recent challenging OBJECTS benchmark in novelty detection by $78.4\% \rightarrow 87.2\%$ in AUROC, while simultaneously enjoying improved corruption, background and (certified) adversarial robustness. Code is available at https://github.com/jh-jeong/nuisance_ib.


翻译:在训练数据有限的实际应用场景中,数据中的许多预测信号可能更多地来自数据获取中的某些偏差(即,具有较差的一般化能力),因此无法防止模型在这些所谓的“捷径”信号上共同适应,这使得模型在各种分布偏移中变得脆弱。为了避免这种失败模式,我们考虑在互信息约束下的对抗威胁模型,以涵盖更广泛的训练扰动类别。这促使我们扩展标准的信息瓶颈以额外地建模无用信息。我们提出了基于自动编码器的训练来实现该目标,以及实用的编码器设计,以促进所提出的关于卷积和Transformer类别的混合判别式-生成式训练。我们的实验结果表明,所提出的方案提高了学习表示的鲁棒性(显着地没有使用任何特定领域的知识),与多个具有挑战性的可靠性量度有关。例如,我们的模型可以在AUROC方面将最近挑战性的OBJECTS基准测试中的先进水平从$78.4\%$提高到$87.2\%$,同时享受着改进后的污染固化,背景和对抗鲁棒性。代码可在https://github.com/jh-jeong/nuisance_ib上获得。

0
下载
关闭预览

相关内容

【AAAI2023】少样本无监督域适应中的高层语义特征
专知会员服务
15+阅读 · 2023年1月8日
专知会员服务
13+阅读 · 2021年10月13日
专知会员服务
25+阅读 · 2021年1月21日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
LibRec 精选:推荐系统的常用数据集
LibRec智能推荐
17+阅读 · 2019年2月15日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员