【AAAI 2022】一致性信息瓶颈在域泛化中的应用

2022 年 1 月 15 日 专知



一致性信息瓶颈在域泛化中的应用

Invariant Information Bottleneck for Domain Generalization


论文摘要: 一致风险最小化(IRM)是近年来出现的一种很流行的领域泛化方法。然而,对于非线性分类器来说,IRM 的损失函数很难优化,当伪一致特征(pseudo-invariant feature)和几何偏置(geometric-skews)存在时,通常会导致 IRM 的优化目标失效。以解决 IRM 的缺陷为出发点,本文提出了一种新的领域泛化算法,称为一致性信息瓶颈(IIB)。我们首先提出通过优化互信息的方式实现基于因果关系的一致性预测。然后我们采用互信息的变分形式来建立非线性分类器的可优化的损失函数。其次我们提出最小化输入与特征表示之间的互信息来避免特征表示存在伪一致特征(pseudo-invariant feature)和几何偏置(geometric-skews)。在人工设计的合成数据集上,IIB 的性能显著优于 IRM,在真实数据集 DomainBed 上的实验表明, IIB 在 7 个真实数据集上平均比 13 个基线方法性能高出 0.9%。


论文开创性突破与核心贡献:分析了 IRM 所存在的缺陷,在 IRM 的基础上引入了信息瓶颈(Information Bottleneck),将优化目标整体写成互信息的形式并且采用变分推断优化互信息项。 


https://www.zhuanzhi.ai/paper/b805ae98f106d585aac1f395ad922f63





专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“IBDG” 就可以获取【AAAI 2022】一致性信息瓶颈在域泛化中的应用》专知下载链接

专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!


欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,查看本篇文档专知下载
登录查看更多
1

相关内容

AAAI 2022:三角分解一致性约束的端到端语音翻译
专知会员服务
8+阅读 · 2022年1月17日
【AAAI2022】基于变分信息瓶颈的图结构学习
专知会员服务
19+阅读 · 2021年12月18日
专知会员服务
41+阅读 · 2021年8月12日
【CVPR2021】现实世界域泛化的自适应方法
专知会员服务
55+阅读 · 2021年3月31日
【AAAI2021】信息瓶颈和有监督表征解耦
专知会员服务
20+阅读 · 2021年1月27日
【NeurIPS2020-FB】学习具有可解码信息瓶颈的最优表示
专知会员服务
22+阅读 · 2020年10月13日
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【CVPR2021】现实世界域泛化的自适应方法
专知
5+阅读 · 2021年3月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2022年4月20日
Arxiv
16+阅读 · 2021年7月18日
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员