近期必读的六篇 NeurIPS 2020【域自适应】相关论文和代码

2020 年 12 月 1 日 专知

【导读】机器学习顶会 NeurIPS 2020, 是人工智能领域全球最具影响力的学术会议之一，因此在该会议上发表论文的研究者也会备受关注。据官方统计，今年NeurIPS 2020 共收到论文投稿 9454 篇，接收 1900 篇（其中 oral 论文 105 篇、spotlight 论文 280 篇），论文接收率为 20.1%。近期，NeurIPS 2020快开会了，小编发现域自适应（Domain Adaptation）相关的接受paper很多，这块研究方向近几年一直很火，并且各个CV和NLP的域自适应任务也非常多。

为此，这期小编为大家奉上NeurIPS 2020必读的六篇域自适应（Domain Adaptation）相关论文——One-shot 无监督域自适应、图模型、启发式域自适应、自监督、多源域自适应

NeurIPS 2020 Accepted Papers :

https://proceedings.neurips.cc/paper/2020

NIPS2020CI 、 ICLR2020CI 、ICML2020CI

1. Adversarial Style Mining for One-Shot Unsupervised Domain Adaptation

作者：Yawei Luo, Ping Liu, Tao Guan, Junqing Yu, Yi Yang

摘要：我们针对One-Shot无监督域自适应的问题。与传统的无监督域适应不同，它假定学习适应时只能使用一个未标记的目标样本。这种设置是现实的，但更具挑战性，在这种情况下，传统的自适应方法由于缺少未标记的目标数据而容易失败。为此，我们提出了一种新颖的对抗式风格挖掘方法，该方法将风格迁移模块和特定于任务模块组合成对抗的方式。具体来说，风格迁移模块会根据当前的学习状态，迭代搜索One-Shot目标样本周围的较难的风格化图像，从而使任务模型探索在不可知的目标领域中难以解决的潜在风格，从而增强了数据稀缺情况下的适应性能。对抗学习框架使风格迁移模块和特定于任务模块在竞争中彼此受益。在跨域分类和分割基准方面的大量实验证明，ASM在具有挑战性的One-Shot设置下达到了最新的自适应性能。

网址：

https://www.zhuanzhi.ai/paper/a17a6668db3b566cb625eb7ac40e87c7

https://proceedings.neurips.cc/paper/2020/hash/ed265bc903a5a097f61d3ec064d96d2e-Abstract.html

2. Domain Adaptation as a Problem of Inference on Graphical Models

作者：Kun Zhang, Mingming Gong, Petar Stojanov, Biwei Huang, QINGSONG LIU, Clark Glymour

摘要：本文涉及数据驱动的无监督域自适应，在这种情况下，事先不知道跨域的联合分布如何变化，即数据分布的哪些因素或模块保持不变或跨域变化。为了研究具有多个源域的域自适应方法，我们提出使用图模型作为一种紧凑（compact）的方式来编码联合分布的变化属性，该属性可以从数据中学习，然后将域自适应视为一个关于图模型的贝叶斯推断问题。这种图模型区分了分布的恒定和变化模块，并指定了跨域变化的特性，这是变化模块的先验知识，目的是得出目标域中目标变量Y的后验。这提供了域自适应的端到端框架，可以将关于联合分布如何变化的其他知识（如果可用）直接合并以改善图表示。我们讨论如何将基于因果关系的域适应置于此保护之下。和真实数据的实验结果证明了所提出的域适应框架的功效。

代码：

https://github.com/mgong2/DA_Infer

网址：

https://www.zhuanzhi.ai/paper/0818d6de3a6b41761d811cadd46688c2

3. Heuristic Domain Adaptation

作者：shuhao cui, Xuan Jin, Shuhui Wang, Yuan He, Qingming Huang

摘要：在视觉域自适应（DA）中，将特定于域的特征与不依赖于域的表示形式分开是一个病态（ill-posed）问题。现有方法采用不同的先验方法或直接最小化域差异来解决此问题，这在处理实际情况时缺乏灵活性。另一个研究方向是将特定域的信息表示为逐步迁移的过程，这在准确删除特定域的属性方面往往不是最佳选择。在本文中，我们从启发式搜索的角度解决了域不变和域特定信息的建模问题。我们将现有的特征标识为启发式表示形式，从而导致更大的域差异。在启发式表示的指导下，我们制定了一个具有良好理论依据的启发式域自适应（HDA）原则框架。为了执行HDA，在学习过程中，将域不变和域特定表示之间的余弦相似性评分和独立性度量放入初始和最终状态的约束中。类似于启发式搜索的最终条件，我们进一步推导出一个约束，以强制约束启发式网络输出的最终范围较小。因此，我们提出了启发式域自适应网络（HDAN），该网络明确学习了具有上述约束的域不变和域特定表示。大量实验表明，HDAN在无监督DA，多源DA和半监督DA方面已超过了最新技术。

代码：

https://github.com/cuishuhao/HDA

网址：

https://proceedings.neurips.cc/paper/2020/hash/555d6702c950ecb729a966504af0a635-Abstract.html

4. Transferable Calibration with Lower Bias and Variance in Domain Adaptation

作者：Ximei Wang, Mingsheng Long, Jianmin Wang, Michael Jordan

摘要：域自适应（DA）可以将学习器从标记的源域转移到未标记的目标域。尽管已经取得了显著的进步，但大多数现有的DA方法都专注于提高推理的目标精度。如何估计DA模型的预测不确定性对于安全重要型场景中的决策至关重要，但其仍然是研究的边界。在本文中，我们研究了DA校准（Calibration）中的开放性问题，该问题是由于域转移和缺少目标标签共存所造成的，这一问题极具挑战性。我们首先揭示了DA模型以经过良好校准的概率为代价来学习更高的精度的困境。基于这一发现，我们提出了可迁移校准（TransCal），以在统一的无超参数优化框架中以较低的偏差和方差实现更准确的校准。作为常规的post-hoc 校准方法，TransCal可以轻松地应用于重新校准现有的DA方法。从理论上和经验上都证明了其有效性。

网址：

https://www.zhuanzhi.ai/paper/95aa0a2fa32cdaea974fc9d7eb4387fe

5. Universal Domain Adaptation through Self-Supervision

作者：Kuniaki Saito, Donghyun Kim, Stan Sclaroff, Kate Saenko

摘要：传统上，无监督域自适应方法假定所有源类别都存在于目标域中。实际上，对于两个域之间的类别重叠知之甚少。虽然某些方法使用部分或开放类别来解决目标设置，但它们假定特定设置是先验的。我们提出了一种更通用的域自适应框架，该框架可以处理任意类别转换，称为通过熵优化（DANCE）的域自适应邻域聚类。DANCE结合了两种新颖的思想：首先，由于我们不能完全依靠源类别来学习针对目标的判别性特征，因此我们提出了一种新颖的邻域聚类技术，以一种自监督的方式来学习目标域的结构。其次，我们使用基于熵的特征对齐和拒绝来将目标特征与源对齐，或基于它们的熵将它们拒绝为未知类别。我们通过广泛的实验表明，在开放集，开放部分和部分域适应设置中，DANCE的性能均优于基线。

代码：

https://github.com/VisionLearningGroup/DANCE

网址：

https://www.zhuanzhi.ai/paper/91e073dfcdb3b34bf9599e7f28185884

6. Your Classifier can Secretly Suffice Multi-Source Domain Adaptation

作者：Naveen Venkat, Jogendra Nath Kundu, Durgesh Singh, Ambareesh Revanur, R. Venkatesh Babu

摘要：多源域适应（MSDA）解决在域转移（domain-shift）下将任务知识从多个标记的源域转移到未标记的目标域。现有方法旨在使用辅助分布对齐目标来最小化该域偏移。在这项工作中，我们提出了与MSDA不同的观点，我们观察到了深度模型以在标签监督下隐式对齐域。因此，我们旨在利用隐式对齐方式而无需其他训练目标来进行适应。为此，我们使用伪标记的目标样本并在伪标记上执行分类器协议，此过程称为自监督隐式比对（SImpA1）。我们发现，即使在源域之间的类别转换下，SImpAl仍然可以轻松工作。此外，我们提出了分类器一致性作为确定训练收敛的线索，从而产生了一种简单的训练算法。我们在五个基准上对我们的方法进行了全面的评估，并对方法的每个组成部分进行了详细的分析。