会员服务
领域自适应是与机器学习和转移学习相关的领域。 当我们的目标是从源数据分布中学习在不同（但相关）的目标数据分布上的良好性能模型时，就会出现这种情况。 例如，常见垃圾邮件过滤问题的任务之一在于使模型从一个用户（源分发）适应到接收显着不同的电子邮件（目标分发）的新模型。 注意，当有多个源分发可用时，该问题被称为多源域自适应。

入门教程

Domain adaptation，DA，中文可翻译为域适配、域匹配、域适应，是迁移学习中的一类非常重要的问题，也是一个持续的研究热点。Domain adaptation可用于计算机视觉、物体识别、文本分类、声音识别等常见应用中。这个问题的基本定义是，假设源域和目标域的类别空间一样，特征空间也一样，但是数据的分布不一样，如何利用有标定的源域数据，来学习目标域数据的标定？

事实上，根据目标域中是否有少量的标定可用，可以将domain adaptation大致分为无监督（目标域中完全无label）和半监督（目标域中有少量label）两大类。我们这里偏重介绍无监督。

形式化

给定：有标定的$\mathcal{D}{S}={X{S_i},Y_{S_i}}^{n}{i=1}$，以及无标定的$\mathcal{D}{T}={X_{T_i},?}^{m}_{i=1}$

求：$\mathcal{D}{T}$的标定$Y{T}$ （在实验环境中$\mathcal{D}_{T}$是有标定的，仅用来测试算法精度)

条件：

  • $X_{S},X_{T} \in \mathbf{R}^{p \times d}$，即源域和目标域的特征空间相同（都是$d)维）

  • ${Y_{S}}={Y_{T}}$，即源域和目标域的类别空间相同

  • $P(X_{S})\ne P(X_T)$，即源域和目标域的数据分布不同

    例子

    比如说，同样都是一台电脑，在不同角度，不同光照，以及不同背景下拍照，图像的数据具有不同的分布，但是从根本上来说，都是一台电脑的图像。Domain adaptation要做的就是，如何根据这些不同分布的数据，很好地学习缺失的标定。

    Domain adaptation

综述

  • Arxiv

    • A Comprehensive Survey on Transfer Learning [7 Nov 2019]
    • Transfer Adaptation Learning: A Decade Survey [12 Mar 2019]
    • A review of single-source unsupervised domain adaptation [16 Jan 2019]
    • An introduction to domain adaptation and transfer learning [31 Dec 2018]
    • A Survey of Unsupervised Deep Domain Adaptation [6 Dec 2018]
    • Transfer Learning for Cross-Dataset Recognition: A Survey [2017]
    • Domain Adaptation for Visual Applications: A Comprehensive Survey [2017]

  • 期刊

理论

  • Arxiv

  • 会议

  • 期刊

    • A theory of learning from different domains [ML2010]

论文

Unsupervised DA

Semi-supervised DA

Weakly-Supervised DA

  • Arxiv

  • Conference

    • Weakly Supervised Open-set Domain Adaptation by Dual-domain Collaboration [CVPR2019]
    • Transferable Curriculum for Weakly-Supervised Domain Adaptation [AAAI2019]

Zero-shot DA

  • Zero-shot Domain Adaptation Based on Attribute Information [ACML2019]
  • Conditional Coupled Generative Adversarial Networks for Zero-Shot Domain Adaptation [ICCV2019]
  • Generalized Zero-Shot Learning with Deep Calibration Network NIPS2018
  • Zero-Shot Deep Domain Adaptation [ECCV2018]

One-shot DA

  • One-Shot Imitation from Observing Humans via Domain-Adaptive Meta-Learning [arxiv]
  • One-Shot Adaptation of Supervised Deep Convolutional Models [ICLR Workshop 2014]

Few-shot DA

  • d-SNE: Domain Adaptation using Stochastic Neighborhood Embedding [CVPR2019 Oral]
  • Few-Shot Adversarial Domain Adaptation [NIPS2017]

Open Set DA

Partial DA

Universal DA

Multi Source DA

  • Arxiv

    • Multi-Source Domain Adaptation and Semi-Supervised Domain Adaptation with Focus on Visual Domain Adaptation Challenge 2019 [14 Oct 2019]

  • Conference

  • Journal

Multi Target DA

  • Unsupervised Multi-Target Domain Adaptation: An Information Theoretic Approach [arXiv]

Multi Step DA

  • Arxiv

    • Adversarial Domain Adaptation for Stance Detection [arXiv]
    • Ensemble Adversarial Training: Attacks and Defenses [arXiv]

  • Conference

Heterogeneous DA

  • Heterogeneous Domain Adaptation via Soft Transfer Network [ACM MM2019]

Target-agnostic DA

  • Arxiv

  • Conference

Federated DA

  • Arxiv

Model Selection

教程Tutorial

代码

数据集

领域专家

  • 应用研究

    • Qiang Yang @ HKUST

      迁移学习领域权威大牛。他所在的课题组基本都做迁移学习方面的研究。迁移学习综述《A survey on transfer learning》就出自杨强老师课题组。他的学生们：

      1). Sinno J. Pan

      现为老师，详细介绍见第二条。

      2). Ben Tan

      主要研究传递迁移学习(transitive transfer learning)。代表文章：

      • Transitive Transfer Learning. KDD 2015.
      • Distant Domain Transfer Learning. AAAI 2017.

      3). Derek Hao Hu

      主要研究迁移学习与行为识别结合，目前在Snap公司。代表文章：

      • Transfer Learning for Activity Recognition via Sensor Mapping. IJCAI 2011.
      • Cross-domain activity recognition via transfer learning. PMC 2011.
      • Bridging domains using world wide knowledge for transfer learning. TKDE 2010.

      4). Vencent Wencheng Zheng

      也做行为识别与迁移学习的结合，目前在新加坡一个研究所当研究科学家。

      代表文章：

      • User-dependent Aspect Model for Collaborative Activity Recognition. IJCAI 2011.
      • Transfer Learning by Reusing Structured Knowledge. AI Magazine.
      • Transferring Multi-device Localization Models using Latent Multi-task Learning. AAAI 2008.
      • Transferring Localization Models Over Time. AAAI 2008.
      • Cross-Domain Activity Recognition. Ubicomp 2009.
      • Collaborative Location and Activity Recommendations with GPS History Data. WWW 2010.

      5). Ying Wei

      做迁移学习与数据挖掘相关的研究。代表工作：

      • Instilling Social to Physical: Co-Regularized Heterogeneous Transfer Learning. AAAI 2016.

      • Transfer Knowledge between Cities. KDD 2016

      其他还有很多学生都做迁移学习方面的研究，更多请参考杨强老师主页。

      1. Sinno J. Pan @ NTU

      杨强老师学生，比较著名的工作是TCA方法。现在在NTU当老师，一直都在做迁移学习研究。代表工作：

      • A Survey On Transfer Learning. TKDE 2010.
      • Domain Adaptation via Transfer Component Analysis. TNNLS 2011. [著名的TCA方法]
      • Cross-domain sentiment classification via spectral feature alignment. WWW 2010. [著名的SFA方法]
      • Transferring Localization Models across Space. AAAI 2008.
      1. Lixin Duan @ UESTC

      毕业于NTU，现在在UESTC当老师。代表工作：

      • Domain Transfer Multiple Kernel Learning. PAMI 2012.
      • Visual Event Recognition in Videos by Learning from Web Data. PAMI 2012.
      1. Mingsheng Long @ THU

      毕业于清华大学，现在在清华大学当老师，一直在做迁移学习方面的工作。代表工作：

      • Dual Transfer Learning. SDM 2012.
      • Transfer Feature Learning with Joint Distribution Adaptation. ICCV 2013.
      • Transfer Joint Matching for Unsupervised Domain Adaptation. CVPR 2014.
      • Learning transferable features with deep adaptation networks. ICML 2015. [著名的DAN方法]
      • Deep Transfer Learning with Joint Adaptation Networks. ICML 2017.
      1. Judy Hoffman @ UC Berkeley & Stanford

      Feifei Li的博士后，现在当老师。她有个学生叫做Eric Tzeng，做深度迁移学习。代表工作：

      • Simultaneous Deep Transfer Across Domains and Tasks. ICCV 2015.
      • Deep Domain Confusion: Maximizing for Domain Invariance. arXiv 2014.
      • Adversarial Discriminative Domain Adaptation. arXiv 2017.
      1. Fuzhen Zhuang @ ICT, CAS

      中科院计算所当老师，主要做迁移学习与文本结合的研究。代表工作：

      • Transfer Learning from Multiple Source Domains via Consensus Regularization. CIKM 2008.
      1. Kilian Q. Weinberger @ Cornell U.

      现在康奈尔大学当老师。Minmin Chen是他的学生。代表工作：

      • Distance metric learning for large margin nearest neighbor classification. JMLR 2009.
      • Feature hashing for large scale multitask learning. ICML 2009.
      • An introduction to nonlinear dimensionality reduction by maximum variance unfolding. AAAI 2006. [著名的MVU方法]
      • Co-training for domain adaptation. NIPS 2011. [著名的Co-training方法]
      1. Fei Sha @ USC

      USC教授。学生Boqing Gong提出了著名的GFK方法。代表工作：

      • Connecting the Dots with Landmarks: Discriminatively Learning Domain-Invariant Features for Unsupervised Domain Adaptation. ICML 2013.
      • Geodesic flow kernel for unsupervised domain adaptation. CVPR 2012. [著名的GFK方法]
      1. Mahsa Baktashmotlagh @ U. Quessland

      现在当老师。主要做流形学习与domain adaptation结合。代表工作：

      • Unsupervised Domain Adaptation by Domain Invariant Projection. ICCV 2013.
      • Domain Adaptation on the Statistical Manifold. CVPR 2014.
      • Distribution-Matching Embedding for Visual Domain Adaptation. JMLR 2016.
      1. Baochen Sun @ Microsoft

      现在在微软。著名的CoRAL系列方法的作者。代表工作：

      • Return of Frustratingly Easy Domain Adaptation. AAAI 2016.
      • Deep coral: Correlation alignment for deep domain adaptation. ECCV 2016.
      1. Wenyuan Dai

      著名的第四范式创始人，虽然不做研究了，但是当年求学时几篇迁移学习文章至今都很高引。代表工作：

      • Boosting for transfer learning. ICML 2007. [著名的TrAdaboost方法]
      • Self-taught clustering. ICML 2008.

  • 理论研究

      1. Arthur Gretton @ UCL

        主要做two-sample test。代表工作：

      • A Kernel Two-Sample Test. JMLR 2013.
      • Optimal kernel choice for large-scale two-sample tests. NIPS 2012. [著名的MK-MMD]
      1. Shai Ben-David @ U.Waterloo

      很多迁移学习的理论工作由他给出。代表工作：

      • Analysis of representations for domain adaptation. NIPS 2007.
      • A theory of learning from different domains. Machine Learning 2010.
      1. Alex Smola @ CMU

      也是做一些机器学习的理论工作，和上面两位合作比较多。代表工作非常多，不列了。

      1. John Blitzer @ Google

      著名的SCL方法提出者，现在也在做机器学习。代表工作：

      • Domain adaptation with structural correspondence learning. ECML 2007. [著名的SCL方法]
      1. Yoshua Bengio @ U.Montreal

      深度学习领军人物，主要做深度迁移学习的一些理论工作。代表工作：

      • Deep Learning of Representations for Unsupervised and Transfer Learning. ICML 2012.
      • How transferable are features in deep neural networks? NIPS 2014.
      • Unsupervised and Transfer Learning Challenge: a Deep Learning Approach. ICML 2012.
      1. Geoffrey Hinton @ U.Toronto

      深度学习领军人物，也做深度迁移学习的理论工作。

      • Distilling the knowledge in a neural network. NIPS 2014.

初步版本，水平有限，有错误或者不完善的地方，欢迎大家提建议和补充，会一直保持更新，本文为专知内容组原创内容，未经允许不得转载，如需转载请发送邮件至fangquanyi@gmail.com 或 联系微信专知小助手（Rancho_Fang）

敬请关注http://www.zhuanzhi.ai 和关注专知公众号，获取第一手AI相关知识

最近更新：2019-12-9

成为VIP会员查看完整内容
评论 +
参考链接
荟萃目录
微信扫码咨询专知VIP会员
Top