[ICML2021]KD3A: 一种满足隐私保护要求的去中心化无监督域适应范式

传统的无监督多源域适应（Multi-source Unsupervised Domain Adaptation）方法假设所有源域数据都可以直接访问。然而，隐私保护政策要求所有数据和计算都必须在本地进行，这对域适应方法提出了三个挑战：首先，最小化域间距离需获取源域和目标域的数据并进行成对计算，而在隐私保护要求下，源域数据本地存储、不可访问。其次，通信成本和隐私安全限制了现有域适应方法的应用。最后，由于无法鉴别源域数据质量，更易出现不相关或恶意的源域，从而导致负迁移。为解决上述问题，我们提出一种满足隐私保护要求的去中心化无监督域适应范式，称为基于知识蒸馏的去中心化域适应（KD3A），通过对来自多个源域的模型进行知识蒸馏来构建可迁移的共识知识。大量实验表明，KD3A显著优于其他域适应方法。此外，与其他去中心化的域适应方法相比，KD3A 对负迁移具有鲁棒性，并可将通信成本降低100倍。