【AAAI 2022】一致性信息瓶颈在域泛化中的应用

一致性信息瓶颈在域泛化中的应用

Invariant Information Bottleneck for Domain Generalization

论文摘要： 一致风险最小化（IRM）是近年来出现的一种很流行的领域泛化方法。然而，对于非线性分类器来说，IRM 的损失函数很难优化，当伪一致特征（pseudo-invariant feature）和几何偏置（geometric-skews）存在时，通常会导致 IRM 的优化目标失效。以解决 IRM 的缺陷为出发点，本文提出了一种新的领域泛化算法，称为一致性信息瓶颈（IIB）。我们首先提出通过优化互信息的方式实现基于因果关系的一致性预测。然后我们采用互信息的变分形式来建立非线性分类器的可优化的损失函数。其次我们提出最小化输入与特征表示之间的互信息来避免特征表示存在伪一致特征（pseudo-invariant feature）和几何偏置（geometric-skews）。在人工设计的合成数据集上，IIB 的性能显著优于 IRM，在真实数据集 DomainBed 上的实验表明， IIB 在 7 个真实数据集上平均比 13 个基线方法性能高出 0.9%。

论文开创性突破与核心贡献：分析了 IRM 所存在的缺陷，在 IRM 的基础上引入了信息瓶颈（Information Bottleneck），将优化目标整体写成互信息的形式并且采用变分推断优化互信息项。 

https://www.zhuanzhi.ai/paper/b805ae98f106d585aac1f395ad922f63

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“IBDG” 就可以获取《【AAAI 2022】一致性信息瓶颈在域泛化中的应用》专知下载链接

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，查看本篇文档专知下载