领域自适应是与机器学习和转移学习相关的领域。 当我们的目标是从源数据分布中学习在不同(但相关)的目标数据分布上的良好性能模型时,就会出现这种情况。 例如,常见垃圾邮件过滤问题的任务之一在于使模型从一个用户(源分发)适应到接收显着不同的电子邮件(目标分发)的新模型。 注意,当有多个源分发可用时,该问题被称为多源域自适应。

知识荟萃

入门教程

Domain adaptation,DA,中文可翻译为域适配、域匹配、域适应,是迁移学习中的一类非常重要的问题,也是一个持续的研究热点。Domain adaptation可用于计算机视觉、物体识别、文本分类、声音识别等常见应用中。这个问题的基本定义是,假设源域和目标域的类别空间一样,特征空间也一样,但是数据的分布不一样,如何利用有标定的源域数据,来学习目标域数据的标定?

事实上,根据目标域中是否有少量的标定可用,可以将domain adaptation大致分为无监督(目标域中完全无label)和半监督(目标域中有少量label)两大类。我们这里偏重介绍无监督。

形式化

给定:有标定的$\mathcal{D}{S}={X{S_i},Y_{S_i}}^{n}{i=1}$,以及无标定的$\mathcal{D}{T}={X_{T_i},?}^{m}_{i=1}$

求:$\mathcal{D}{T}$的标定$Y{T}$ (在实验环境中$\mathcal{D}_{T}$是有标定的,仅用来测试算法精度)

条件:

  • $X_{S},X_{T} \in \mathbf{R}^{p \times d}$,即源域和目标域的特征空间相同(都是$d)维)

  • ${Y_{S}}={Y_{T}}$,即源域和目标域的类别空间相同

  • $P(X_{S})\ne P(X_T)$,即源域和目标域的数据分布不同

    例子

    比如说,同样都是一台电脑,在不同角度,不同光照,以及不同背景下拍照,图像的数据具有不同的分布,但是从根本上来说,都是一台电脑的图像。Domain adaptation要做的就是,如何根据这些不同分布的数据,很好地学习缺失的标定。

    Domain adaptation


综述

  • Arxiv

    • A Comprehensive Survey on Transfer Learning [7 Nov 2019]
    • Transfer Adaptation Learning: A Decade Survey [12 Mar 2019]
    • A review of single-source unsupervised domain adaptation [16 Jan 2019]
    • An introduction to domain adaptation and transfer learning [31 Dec 2018]
    • A Survey of Unsupervised Deep Domain Adaptation [6 Dec 2018]
    • Transfer Learning for Cross-Dataset Recognition: A Survey [2017]
    • Domain Adaptation for Visual Applications: A Comprehensive Survey [2017]
  • 期刊

理论

  • Arxiv

  • 会议

  • 期刊

    • A theory of learning from different domains [ML2010]

论文

Unsupervised DA

Semi-supervised DA

Weakly-Supervised DA

  • Arxiv

  • Conference

    • Weakly Supervised Open-set Domain Adaptation by Dual-domain Collaboration [CVPR2019]
    • Transferable Curriculum for Weakly-Supervised Domain Adaptation [AAAI2019]

Zero-shot DA

  • Zero-shot Domain Adaptation Based on Attribute Information [ACML2019]
  • Conditional Coupled Generative Adversarial Networks for Zero-Shot Domain Adaptation [ICCV2019]
  • Generalized Zero-Shot Learning with Deep Calibration Network NIPS2018
  • Zero-Shot Deep Domain Adaptation [ECCV2018]

One-shot DA

  • One-Shot Imitation from Observing Humans via Domain-Adaptive Meta-Learning [arxiv]
  • One-Shot Adaptation of Supervised Deep Convolutional Models [ICLR Workshop 2014]

Few-shot DA

  • d-SNE: Domain Adaptation using Stochastic Neighborhood Embedding [CVPR2019 Oral]
  • Few-Shot Adversarial Domain Adaptation [NIPS2017]

Open Set DA

Partial DA

Universal DA

Multi Source DA

  • Arxiv

    • Multi-Source Domain Adaptation and Semi-Supervised Domain Adaptation with Focus on Visual Domain Adaptation Challenge 2019 [14 Oct 2019]
  • Conference

  • Journal

Multi Target DA

  • Unsupervised Multi-Target Domain Adaptation: An Information Theoretic Approach [arXiv]

Multi Step DA

  • Arxiv

    • Adversarial Domain Adaptation for Stance Detection [arXiv]
    • Ensemble Adversarial Training: Attacks and Defenses [arXiv]
  • Conference

Heterogeneous DA

  • Heterogeneous Domain Adaptation via Soft Transfer Network [ACM MM2019]

Target-agnostic DA

  • Arxiv

  • Conference

Federated DA

  • Arxiv

Model Selection

教程Tutorial

代码

数据集

领域专家

  • 应用研究

    • Qiang Yang @ HKUST

      迁移学习领域权威大牛。他所在的课题组基本都做迁移学习方面的研究。迁移学习综述《A survey on transfer learning》就出自杨强老师课题组。他的学生们:

      1). Sinno J. Pan

      现为老师,详细介绍见第二条。

      2). Ben Tan

      主要研究传递迁移学习(transitive transfer learning)。代表文章:

      • Transitive Transfer Learning. KDD 2015.
      • Distant Domain Transfer Learning. AAAI 2017.

      3). Derek Hao Hu

      主要研究迁移学习与行为识别结合,目前在Snap公司。代表文章:

      • Transfer Learning for Activity Recognition via Sensor Mapping. IJCAI 2011.
      • Cross-domain activity recognition via transfer learning. PMC 2011.
      • Bridging domains using world wide knowledge for transfer learning. TKDE 2010.

      4). Vencent Wencheng Zheng

      也做行为识别与迁移学习的结合,目前在新加坡一个研究所当研究科学家。

      代表文章:

      • User-dependent Aspect Model for Collaborative Activity Recognition. IJCAI 2011.
      • Transfer Learning by Reusing Structured Knowledge. AI Magazine.
      • Transferring Multi-device Localization Models using Latent Multi-task Learning. AAAI 2008.
      • Transferring Localization Models Over Time. AAAI 2008.
      • Cross-Domain Activity Recognition. Ubicomp 2009.
      • Collaborative Location and Activity Recommendations with GPS History Data. WWW 2010.

      5). Ying Wei

      做迁移学习与数据挖掘相关的研究。代表工作:

      • Instilling Social to Physical: Co-Regularized Heterogeneous Transfer Learning. AAAI 2016.

      • Transfer Knowledge between Cities. KDD 2016

      其他还有很多学生都做迁移学习方面的研究,更多请参考杨强老师主页。

      1. Sinno J. Pan @ NTU

      杨强老师学生,比较著名的工作是TCA方法。现在在NTU当老师,一直都在做迁移学习研究。代表工作:

      • A Survey On Transfer Learning. TKDE 2010.
      • Domain Adaptation via Transfer Component Analysis. TNNLS 2011. [著名的TCA方法]
      • Cross-domain sentiment classification via spectral feature alignment. WWW 2010. [著名的SFA方法]
      • Transferring Localization Models across Space. AAAI 2008.
      1. Lixin Duan @ UESTC

      毕业于NTU,现在在UESTC当老师。代表工作:

      • Domain Transfer Multiple Kernel Learning. PAMI 2012.
      • Visual Event Recognition in Videos by Learning from Web Data. PAMI 2012.
      1. Mingsheng Long @ THU

      毕业于清华大学,现在在清华大学当老师,一直在做迁移学习方面的工作。代表工作:

      • Dual Transfer Learning. SDM 2012.
      • Transfer Feature Learning with Joint Distribution Adaptation. ICCV 2013.
      • Transfer Joint Matching for Unsupervised Domain Adaptation. CVPR 2014.
      • Learning transferable features with deep adaptation networks. ICML 2015. [著名的DAN方法]
      • Deep Transfer Learning with Joint Adaptation Networks. ICML 2017.
      1. Judy Hoffman @ UC Berkeley & Stanford

      Feifei Li的博士后,现在当老师。她有个学生叫做Eric Tzeng,做深度迁移学习。代表工作:

      • Simultaneous Deep Transfer Across Domains and Tasks. ICCV 2015.
      • Deep Domain Confusion: Maximizing for Domain Invariance. arXiv 2014.
      • Adversarial Discriminative Domain Adaptation. arXiv 2017.
      1. Fuzhen Zhuang @ ICT, CAS

      中科院计算所当老师,主要做迁移学习与文本结合的研究。代表工作:

      • Transfer Learning from Multiple Source Domains via Consensus Regularization. CIKM 2008.
      1. Kilian Q. Weinberger @ Cornell U.

      现在康奈尔大学当老师。Minmin Chen是他的学生。代表工作:

      • Distance metric learning for large margin nearest neighbor classification. JMLR 2009.
      • Feature hashing for large scale multitask learning. ICML 2009.
      • An introduction to nonlinear dimensionality reduction by maximum variance unfolding. AAAI 2006. [著名的MVU方法]
      • Co-training for domain adaptation. NIPS 2011. [著名的Co-training方法]
      1. Fei Sha @ USC

      USC教授。学生Boqing Gong提出了著名的GFK方法。代表工作:

      • Connecting the Dots with Landmarks: Discriminatively Learning Domain-Invariant Features for Unsupervised Domain Adaptation. ICML 2013.
      • Geodesic flow kernel for unsupervised domain adaptation. CVPR 2012. [著名的GFK方法]
      1. Mahsa Baktashmotlagh @ U. Quessland

      现在当老师。主要做流形学习与domain adaptation结合。代表工作:

      • Unsupervised Domain Adaptation by Domain Invariant Projection. ICCV 2013.
      • Domain Adaptation on the Statistical Manifold. CVPR 2014.
      • Distribution-Matching Embedding for Visual Domain Adaptation. JMLR 2016.
      1. Baochen Sun @ Microsoft

      现在在微软。著名的CoRAL系列方法的作者。代表工作:

      • Return of Frustratingly Easy Domain Adaptation. AAAI 2016.
      • Deep coral: Correlation alignment for deep domain adaptation. ECCV 2016.
      1. Wenyuan Dai

      著名的第四范式创始人,虽然不做研究了,但是当年求学时几篇迁移学习文章至今都很高引。代表工作:

      • Boosting for transfer learning. ICML 2007. [著名的TrAdaboost方法]
      • Self-taught clustering. ICML 2008.
  • 理论研究

      1. Arthur Gretton @ UCL

        主要做two-sample test。代表工作:

      • A Kernel Two-Sample Test. JMLR 2013.
      • Optimal kernel choice for large-scale two-sample tests. NIPS 2012. [著名的MK-MMD]
      1. Shai Ben-David @ U.Waterloo

      很多迁移学习的理论工作由他给出。代表工作:

      • Analysis of representations for domain adaptation. NIPS 2007.
      • A theory of learning from different domains. Machine Learning 2010.
      1. Alex Smola @ CMU

      也是做一些机器学习的理论工作,和上面两位合作比较多。代表工作非常多,不列了。

      1. John Blitzer @ Google

      著名的SCL方法提出者,现在也在做机器学习。代表工作:

      • Domain adaptation with structural correspondence learning. ECML 2007. [著名的SCL方法]
      1. Yoshua Bengio @ U.Montreal

      深度学习领军人物,主要做深度迁移学习的一些理论工作。代表工作:

      • Deep Learning of Representations for Unsupervised and Transfer Learning. ICML 2012.
      • How transferable are features in deep neural networks? NIPS 2014.
      • Unsupervised and Transfer Learning Challenge: a Deep Learning Approach. ICML 2012.
      1. Geoffrey Hinton @ U.Toronto

      深度学习领军人物,也做深度迁移学习的理论工作。

      • Distilling the knowledge in a neural network. NIPS 2014.

初步版本,水平有限,有错误或者不完善的地方,欢迎大家提建议和补充,会一直保持更新,本文为专知内容组原创内容,未经允许不得转载,如需转载请发送邮件至fangquanyi@gmail.com 或 联系微信专知小助手(Rancho_Fang)

敬请关注http://www.zhuanzhi.ai 和关注专知公众号,获取第一手AI相关知识

最近更新:2019-12-9

VIP内容

在过去的十年中,许多深度学习模型在机器智能的各个领域得到了良好的训练并取得了巨大的成功,特别是在计算机视觉和自然语言处理方面。为了更好地利用这些训练有素的模型在域内或跨域迁移学习情况下的潜力,知识蒸馏(KD)和域自适应(DA)被提出并成为研究热点。它们的目的都是利用原始的训练数据从训练有素的模型中传递有用的信息。然而,在许多情况下,由于隐私、版权或机密性,原始数据并不总是可用的。最近,无数据知识迁移范式引起了人们的关注,因为它处理的是从训练有素的模型中提取有价值的知识,而不需要访问训练数据。它主要包括无数据知识蒸馏(DFKD)和无源数据领域适应(SFDA)。一方面,DFKD的目标是将原始数据的域内知识从一个繁琐的教师网络转移到一个紧凑的学生网络中,进行模型压缩和高效推理。另一方面,SFDA的目标是重用存储在经过良好训练的源模型中的跨领域知识,并使其适应于目标领域。本文从知识蒸馏和无监督领域适应的角度对无数据知识迁移的研究进行了全面的综述,以帮助读者更好地了解目前的研究现状和思路。本文将分别简要回顾这两个领域的应用和挑战。在此基础上,对未来的研究提出了一些看法。

图1. 知识蒸馏(KD)和无监督领域自适应(UDA)综述

随着深度学习的复兴,深度神经网络(DNN)在人工智能的各个领域取得了显著的进展,包括计算机视觉(CV)[1]和自然语言处理(NLP)[2]。特别是计算机视觉领域已经开发了大量深度卷积神经网络的应用(如图像分类[3]、目标检测[4]、语义分割[5]等),极大地促进了深度学习的繁荣。从LeNet[6]、AlexNet[1]到ResNet[7]和DenseNet[8],深度神经网络的显著成功主要依赖于超参数化的架构和大规模标注的训练数据。在实践中,DNN的应用可能面临两个问题:1)笨重的模型不可能部署在存储和计算能力有限的移动设备上,如自动驾驶汽车[9]和实时人脸识别系统[10]; 2) 由于标注成本过高,整个标注数据集无法用于训练,例如用于语义分割的像素级标注。

图2. 无数据知识蒸馏(DFKD)和无源领域适应(SFDA)概述

为了解决模型的深度部署问题,对[11]模型进行压缩以降低存储和计算成本,包括剪枝[12]、量化[13]和知识蒸馏[14]。知识蒸馏(Knowledge精馏,KD)[14]是一种流行的模型压缩方法,它将有价值的信息从一个繁琐的教师网络传输到一个紧凑的学生网络中。作为如图1(a)所示的通用师生知识传递框架,它可以与其他模型压缩方法相结合,无需进行任何具体设计[15],[16]。学生网络以训练数据为输入,模拟训练良好的教师网络,与人类的学习方案非常相似。大多数的蒸馏方法都是从教师网络的中间特征图或预测中提取和传递知识。在模型压缩方面,近年来知识蒸馏技术的快速发展对半监督学习[17]、[18]、增量学习[19]、[20]、隐私保护[21]、[22]等产生了巨大的影响。

图3. 2016 - 2021年无数据知识迁移工作发展

除了繁琐的网络架构外,大规模数据集的高成本标注也限制了深度学习的应用。例如,手动注释cityscape[23]图像进行语义分割需要大约90分钟。解决这个问题的一种直观的方法是,利用来自相关领域(源领域)的特定知识来研究被考虑的目标领域,这是受到人类研究能力的启发。领域自适应[24]是一种很有前途的迁移学习范式,如图1(b)所示。它旨在将知识从源领域转移到目标领域,避免了劳动密集型的数据注释。根据目标域数据的标注率,可以将域自适应进一步分为无监督域自适应、半监督域自适应和弱监督域自适应。实际上,只有UDA方法完全避免了标注的代价,本文主要考虑的是UDA的设置。

综上所述,知识蒸馏和领域自适应是将有价值的知识从训练良好的深度神经网络迁移到域内或跨域网络的两个主要研究课题。上述方法都是基于数据驱动的,并依赖于原始数据或源数据可访问的前提下进行蒸馏或域适应。然而,由于隐私或版权的原因,在很多实际案例中,原始的训练数据是不可用的。例如,一些知名社区[26]-[29]发布了大量的预训练的深度学习模型[4]、[5]、[7]、[25]。但并不是所有的训练数据都可以用于压缩或使其适应新的领域。此外,医疗或面部数据是公共或第三方机构无法访问的,因为它涉及到患者或用户的隐私。因此,如何利用训练良好的模型(没有训练数据)进行知识迁移成为一个新的研究课题。将其概括为图2所示的“无数据知识迁移(Data-Free Knowledge Transfer, DFKT)”。特别地,该方法还涉及两个主要的研究领域:(1)没有训练数据的知识蒸馏方法称为无数据知识蒸馏(data - free knowledge精馏,DFKD);(2)没有源数据的域适应方法称为无源数据域适应(source -free domain adaptation, SFDA)。DFKD的目标是将训练数据集的原始信息提取并转换为一个紧凑的学生模型,SFDA的目标是通过目标数据查询和探索跨领域的知识。换句话说,DFKD在两个模型之间传递域内知识,而SFDA通过体系结构共享模型传递跨域知识。

近年来,无数据知识转移范式在深度学习的各个领域引起了人们的关注,特别是计算机视觉(包括图像分类[30]-[32]、目标检测[33]-[35]和超分辨率[36])。无数据知识转移的时间轴如图3所示。我们分别描述了DFKD和SFDA在上游和下游的发展。Lopes等人[37]在2016年首次提出了DNN的无数据知识蒸馏。它利用网络激活的摘要来重建其训练集。随着生成式对抗网络的兴起,2019年以来,一些生成式DFKD方法如雨后春笋般涌现,试图合成替代样本进行知识转移。还有一些研究是在[37]的基础上,利用激活状态总结[41]或批归一化统计量(BNS)[32]、[42]从噪声中恢复出原始图像数据。此外,2021年还发布了两个知识蒸馏综述[43]、[44]。SFDA方面,Chidlovskii等人[45]在这方面做了开拓性的工作。2018年至2020年,研究人员主要关注分类[30]、[46]、[47]的无源域自适应。SFDA的语义分割算法[48]、[49]和目标检测算法[33]、[35]从2020年开始研发。毫无疑问,未来将会有更多关于DFKT的研究发表。

虽然传统的数据驱动的知识迁移一直是计算机视觉领域的一个长期挑战,在模型压缩和数据标注的成本降低方面取得了很大的成功,但大多数工作都忽视了数据隐私和商业版权问题,这些问题越来越受到关注。一些研究人员对传统的数据驱动知识蒸馏[43]、[44]、[50]和领域适应[24]、[51]-[53]进行了全面、详细的综述,其中DFKD或SFDA只是冰山一角。然而,随着DFKT的不断成熟,相关的研究也越来越多,这使得研究和产业界都难以跟上新进展的步伐。有鉴于此,我们迫切需要对现有的工作进行调研,这对社区是有益的。在本综述中,我们重点在一个统一的无数据知识迁移框架下,对现有的DFKD和SFDA方法进行分类和分析。我们分别讨论了无数据知识蒸馏和无源领域自适应,并从数据重构算法和知识迁移策略两个方面对它们进行了连接和比较。为了便于理解,我们根据DFKD和SFDA的实现对它们进行了分层分类,如图4所示,并展示了我们调研的组织结构。总之,我们的贡献有三方面:

  • 我们对无数据知识迁移进行了系统的概述,包括分类、定义、两类方法的DFKD和SFDA以及各种应用。据我们所知,这是第一次对DFKT进行调研。

  • 从领域内和跨领域知识迁移的角度,提出了一种新的分类方法,将无数据的知识提炼和无源的领域适应结合起来。

  • 全面总结了每种方法的优势或面临的挑战,并分析了一些有前景的研究方向。

成为VIP会员查看完整内容
0
15
Top
微信扫码咨询专知VIP会员