中科院发布最新迁移学习综述论文，带你全面了解40种迁移学习方法

【导读】迁移学习（Transfer Learning）作为近年来的研究热点之一，受到了广泛关注，每年在各大会议上都有大量的相关文章发表。由于其广泛的应用前景，迁移学习已经成为机器学习中一个热门和有前途的领域。这篇新出论文对近几年迁移学习进行了全面综述，对现有的迁移学习研究进行梳理使其系统化，并对迁移学习的机制和策略进行全面的归纳和解读，帮助读者更好地了解当前的研究现状和思路。作者分别从数据和模型的角度对40多种具有代表性的迁移学习方法进行了综述，并且还简要介绍了迁移学习的一些应用。同时为了展示不同迁移学习模型的性能，作者在Amazon Reviews，Reuters-21578和Office-31这三个数据集上使用了20种具有代表性的迁移学习模型进行实验。

题目：A Comprehensive Survey on Transfer Learning

作者：Fuzhen Zhuang, Zhiyuan Qi, Keyu Duan, Dongbo Xi, Yongchun Zhu, Hengshu Zhu, Senior Member, IEEE, Hui Xiong, Senior Member, IEEE, and Qing He

【摘要】迁移学习的目的是通过迁移包含在不同但相关的源域中的知识来提高目标学习者在目标域上的学习表现。这样，可以减少对大量目标域数据的依赖，以构建目标学习者。由于其广泛的应用前景，迁移学习已经成为机器学习中一个热门和有前途的领域。虽然已经有一些关于迁移学习的有价值的和令人印象深刻的综述，但这些综述介绍的方法相对孤立，缺乏迁移学习的最新进展。随着迁移学习领域的迅速扩大，对相关研究进行全面的回顾既有必要也有挑战。本文试图将已有的迁移学习研究进行梳理使其系统化，并对迁移学习的机制和策略进行全面的归纳和解读，帮助读者更好地了解当前的研究现状和思路。与以往的文章不同，本文从数据和模型的角度对40多种具有代表性的迁移学习方法进行了综述。还简要介绍了迁移学习的应用。为了展示不同迁移学习模型的性能，我们使用了20种有代表性的迁移学习模型进行实验。这些模型是在三个不同的数据集上执行的，即Amazon Reviews，Reuters-21578和Office-31。实验结果表明，在实际应用中选择合适的迁移学习模型是非常重要的。

参考链接：

https://arxiv.org/abs/1911.02685

https://www.zhuanzhi.ai/paper/021fc3dc3356e0089f0e845408cc3aa4

 请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“迁移学习综述” 就可以获取最新论文的下载链接~ 

引言

虽然传统的机器学习已经取得了巨大的成功，并在许多实际应用中得到了成功的应用，但在某些实际场景中仍然存在一定的局限性。机器学习的理想场景是有大量标记的训练实例，它们和测试数据具有相同的分布。然而，在许多应用程序中，收集足够的训练数据通常是昂贵的、耗时的，甚至是不现实的。半监督学习通过减少对大量标记数据的需求，在一定程度上解决了这一问题。半监督方法通常只需要有限数量的标记数据，利用大量的未标记数据来提高学习精度。但是在许多情况下，未标记的实例也很难收集，这通常使得到的传统模型不能令人满意。

迁移学习(Transfer learning)是一种解决上述问题的机器学习方法，它侧重于跨领域的知识转移。实际上，学过钢琴的人学小提琴比别人学得快。受人类跨领域迁移知识能力的启发，迁移学习旨在利用来自相关领域(称为源域)的知识来提高学习性能或最小化目标域所需的标记示例的数量。值得一提的是，源域和目标域之间的关系影响迁移学习模型的性能。凭直觉，学过中提琴的人通常比学过钢琴的人学小提琴更快。相反，如果领域之间没有什么共同之处，学习者尤其容易受到知识迁移的负面影响。这种现象被称为负迁移。

迁移学习可以进一步分为两类，即同构和异构迁移学习[1]。研究者提出了一种基于同构迁移学习的方法来处理域具有相同特征空间的情况。异构迁移学习是指在不同领域具有不同特征空间的情况下的知识转移过程。除了分布适应外，异构迁移学习还需要特征空间自适应[4]，这使得异构迁移学习比同构迁移学习更加复杂。本综述旨在从数据和模型的角度，让读者对迁移学习有一个全面的了解。介绍了迁移学习方法的原理和策略，使读者了解迁移学习方法的工作原理。

此外，我们还通过实验验证了迁移学习模型在哪些数据集上表现良好。在这次综述中，我们更关注同构迁移学习。本文还有一些未涉及到的有意思的迁移学习主题，如强化迁移学习[5]、终身迁移学习[6]、在线迁移学习[7]。

本文的其余部分分为七个部分。第2节阐明迁移学习与其他相关机器学习技术的区别。第3节介绍了本综述中使用的符号和迁移学习的定义。第4节和第5节分别从数据和模型的角度解释了迁移学习方法。第6节介绍了迁移学习的一些应用。实验结果见第7节。最后一部分总结了本次综述。

这项综述的主要贡献概述如下。

• 介绍和总结了40多种具有代表性的迁移学习方法，让读者对迁移学习有一个全面的了解。

• 我们通过实验来比较不同的迁移学习方法。对20种不同方法的性能进行了直观的展示和分析，对读者在实践中选择合适的方法有一定的指导和帮助。

表1 文中符号信息。

迁移学习的分类

迁移学习有几种分类标准。例如，迁移学习问题可以分为三类: 即transductive, inductive, 和unsupervised迁移学习[13]。根据综述[13]，迁移学习方法可以分为四类：instance-based, feature-based, parameter-based, 和relational-based方法。

为了更好地理解，图1给出了上述迁移学习的分类。

图1 迁移学习的分类。

基于数据的迁移学习方法

许多迁移学习方法，尤其是基于数据的迁移学习方法，侧重于通过数据的调整和转换来实现知识的迁移。图2从数据的角度展示了这些方法的策略和目标。

图2 从数据的角度看迁移学习方法的策略和目标。

特征转换策略

基于特征的方法通常采用特征转换策略。基于特征的方法将每个原始特征转化为新的特征表示，用于迁移学习。特征变换的操作可分为三种类型：即feature augmentation, feature reduction, 和feature alignment.。

表2 迁移学习中采用的度量标准。

基于模型的迁移学习方法

迁移学习方法也可以从模型的角度来解释。图3为相应的策略和目标函数。迁移学习模型的主要目标是对目标域做出准确的预测结果，如分类或聚类结果。注意，迁移学习模型可能包含一些子模块，如分类器、提取器或编码器。本节根据图3所示的策略，依次介绍了一些相关的迁移学习方法。

图3 从模型的角度看迁移学习方法的策略和目标。

实验

迁移学习技术已成功地应用于许多实际应用中。在本节中，我们将通过实验来评估一些具有代表性的不同类别迁移学习模型在两个主流研究领域的表现，即目标识别和文本分类。

表3 预处理数据集的统计信息。

图5 Reuters-21578上的比较结果

表4 在Amazon Reviews上四个域的Accuracy：Kitchen (K), Electronics (E), DVDs (D) 和Books (B)。

表5 在Reuters-21578上三个域的Accuracy：Orgs, People, and Places。

图6 Office-31上的比较结果.

表6 在Office-31上的三个域的Accuracy：Amazon (A), Webcam (W), 和DSLR (D)。

结论

本文从数据和模型的角度，总结了迁移学习的机制和策略。本综述对迁移学习给出了明确的定义，并使用统一的符号系统来描述大量具有代表性的迁移学习方法和相关工作。基本介绍了基于数据解释和基于模型解释的迁移学习的目标和策略。作者希望工作可以帮助读者更好地了解研究现状和研究思路。

原文链接：

https://arxiv.org/abs/1911.02685

https://www.zhuanzhi.ai/paper/021fc3dc3356e0089f0e845408cc3aa4

更多关于“迁移学习”的论文知识资料，请登录专知网站www.zhuanzhi.ai,查看：

https://www.zhuanzhi.ai/topic/2001115360986073/vip

-END-

专 · 知

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，或者点击“阅读原文”使用，获取更多AI知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识资料和与专家交流咨询！

请加专知小助手微信（扫一扫如下二维码添加）， 获取专知VIP会员码 ，加入专知人工智能主题群，咨询技术商务合作~

点击“阅读原文”，注册使用专知