【ACM MM2020-清华】资源高效领域自适应

领域自适应的目的是将知识从有标记的源域迁移到无标记的目标域。尽管近年来数据挖掘技术取得了显著的进步，但数据挖掘方法的能力仍然严重依赖于网络深度，特别是在领域差异很大的情况下，这对需要快速、自适应推理的低资源场景下的数据挖掘提出了前所未有的挑战。如何在数据挖掘中架起可迁移性和资源高效推理的桥梁成为一个重要问题。在本文中，我们提出了资源有效域适应(REDA)，这是一个通用的框架，可以跨越“容易”和“难”输入自适应地调整计算资源。在现有的多出口结构的基础上，REDA提出了两种新颖的设计:1)可迁移蒸馏，将顶层分类器的可迁移性提取到早期出口;2)一致性加权，通过预测一致性控制精馏程度。REDA是一种通用的方法，可以方便地与多种DA方法相结合。实验结果和分析表明，在域漂移和资源较少的情况下，REDA可以显著提高推理的准确性和加速推理。

http://ise.thss.tsinghua.edu.cn/~mlong/doc/resource-efficient-domain-adaptation-acmmm20.pdf