【ICLR2025】通过自适应熵感知优化实现稳健的多模态开放集测试时自适应

测试时自适应（TTA）在解决训练数据与测试数据之间的分布偏移方面展现出了显著的潜力。开放集测试时自适应（OSTTA）旨在将源预训练模型在线适应到包含未知类别的未标记目标领域。当涉及多模态数据时，这项任务变得更加具有挑战性。现有的方法主要集中在单模态OSTTA，通常通过过滤低置信度样本来解决问题，但未能应对多模态数据的复杂性。在本研究中，我们提出了自适应熵感知优化（AEO），这是第一个专门设计用来解决多模态开放集测试时自适应（MM-OSTTA）问题的框架。我们的分析表明，目标领域中已知样本与未知样本之间的熵差异与MM-OSTTA的性能密切相关。为了利用这一点，我们提出了两个关键组件：未知类别感知自适应熵优化（UAE）和自适应模态预测差异优化（AMP）。这些组件通过放大已知样本与未知样本之间的熵差异，增强了模型在在线适应过程中区分未知类别样本的能力。为了在MM-OSTTA设置下全面评估我们提出的方法，我们建立了一个新的基准，基于现有数据集，该基准包含两个下游任务并涵盖五种模态。在各种领域偏移情境下的广泛实验验证了AEO框架的有效性和通用性。此外，我们还突出了AEO在长期和持续MM-OSTTA设置中的强大表现，这两个设置都是具有挑战性且与实际应用密切相关的。我们的源代码可在 https://github.com/donghao51/AEO 获取。