中科院发布最新迁移学习综述论文，带你全面了解40种迁移学习方法- 专知

中科院发布最新迁移学习综述论文，带你全面了解40种迁移学习方法

【导读】迁移学习（Transfer Learning）作为近年来的研究热点之一，受到了广泛关注，每年在各大会议上都有大量的相关文章发表。由于其广泛的应用前景，迁移学习已经成为机器学习中一个热门和有前途的领域。这篇新出论文对近几年迁移学习进行了全面综述，对现有的迁移学习研究进行梳理使其系统化，并对迁移学习的机制和策略进行全面的归纳和解读，帮助读者更好地了解当前的研究现状和思路。作者分别从数据和模型的角度对40多种具有代表性的迁移学习方法进行了综述，并且还简要介绍了迁移学习的一些应用。同时为了展示不同迁移学习模型的性能，作者在Amazon Reviews，Reuters-21578和Office-31这三个数据集上使用了20种具有代表性的迁移学习模型进行实验。

题目：A Comprehensive Survey on Transfer Learning

作者：Fuzhen Zhuang, Zhiyuan Qi, Keyu Duan, Dongbo Xi, Yongchun Zhu, Hengshu Zhu, Senior Member, IEEE, Hui Xiong, Senior Member, IEEE, and Qing He

【摘要】迁移学习的目的是通过迁移包含在不同但相关的源域中的知识来提高目标学习者在目标域上的学习表现。这样，可以减少对大量目标域数据的依赖，以构建目标学习者。由于其广泛的应用前景，迁移学习已经成为机器学习中一个热门和有前途的领域。虽然已经有一些关于迁移学习的有价值的和令人印象深刻的综述，但这些综述介绍的方法相对孤立，缺乏迁移学习的最新进展。随着迁移学习领域的迅速扩大，对相关研究进行全面的回顾既有必要也有挑战。本文试图将已有的迁移学习研究进行梳理使其系统化，并对迁移学习的机制和策略进行全面的归纳和解读，帮助读者更好地了解当前的研究现状和思路。与以往的文章不同，本文从数据和模型的角度对40多种具有代表性的迁移学习方法进行了综述。还简要介绍了迁移学习的应用。为了展示不同迁移学习模型的性能，我们使用了20种有代表性的迁移学习模型进行实验。这些模型是在三个不同的数据集上执行的，即Amazon Reviews，Reuters-21578和Office-31。实验结果表明，在实际应用中选择合适的迁移学习模型是非常重要的。

参考链接：

https://arxiv.org/abs/1911.02685

https://www.zhuanzhi.ai/paper/021fc3dc3356e0089f0e845408cc3aa4

请关注专知公众号（点击上方蓝色专知关注）

后台回复“迁移学习综述” 就可以获取最新论文的下载链接~

引言

虽然传统的机器学习已经取得了巨大的成功，并在许多实际应用中得到了成功的应用，但在某些实际场景中仍然存在一定的局限性。机器学习的理想场景是有大量标记的训练实例，它们和测试数据具有相同的分布。然而，在许多应用程序中，收集足够的训练数据通常是昂贵的、耗时的，甚至是不现实的。半监督学习通过减少对大量标记数据的需求，在一定程度上解决了这一问题。半监督方法通常只需要有限数量的标记数据，利用大量的未标记数据来提高学习精度。但是在许多情况下，未标记的实例也很难收集，这通常使得到的传统模型不能令人满意。

迁移学习(Transfer learning)是一种解决上述问题的机器学习方法，它侧重于跨领域的知识转移。实际上，学过钢琴的人学小提琴比别人学得快。受人类跨领域迁移知识能力的启发，迁移学习旨在利用来自相关领域(称为源域)的知识来提高学习性能或最小化目标域所需的标记示例的数量。值得一提的是，源域和目标域之间的关系影响迁移学习模型的性能。凭直觉，学过中提琴的人通常比学过钢琴的人学小提琴更快。相反，如果领域之间没有什么共同之处，学习者尤其容易受到知识迁移的负面影响。这种现象被称为负迁移。

迁移学习可以进一步分为两类，即同构和异构迁移学习[1]。研究者提出了一种基于同构迁移学习的方法来处理域具有相同特征空间的情况。异构迁移学习是指在不同领域具有不同特征空间的情况下的知识转移过程。除了分布适应外，异构迁移学习还需要特征空间自适应[4]，这使得异构迁移学习比同构迁移学习更加复杂。本综述旨在从数据和模型的角度，让读者对迁移学习有一个全面的了解。介绍了迁移学习方法的原理和策略，使读者了解迁移学习方法的工作原理。

此外，我们还通过实验验证了迁移学习模型在哪些数据集上表现良好。在这次综述中，我们更关注同构迁移学习。本文还有一些未涉及到的有意思的迁移学习主题，如强化迁移学习[5]、终身迁移学习[6]、在线迁移学习[7]。

本文的其余部分分为七个部分。第2节阐明迁移学习与其他相关机器学习技术的区别。第3节介绍了本综述中使用的符号和迁移学习的定义。第4节和第5节分别从数据和模型的角度解释了迁移学习方法。第6节介绍了迁移学习的一些应用。实验结果见第7节。最后一部分总结了本次综述。

这项综述的主要贡献概述如下。

介绍和总结了40多种具有代表性的迁移学习方法，让读者对迁移学习有一个全面的了解。
我们通过实验来比较不同的迁移学习方法。对20种不同方法的性能进行了直观的展示和分析，对读者在实践中选择合适的方法有一定的指导和帮助。

表1 文中符号信息。

迁移学习的分类

迁移学习有几种分类标准。例如，迁移学习问题可以分为三类: 即transductive, inductive, 和unsupervised迁移学习[13]。根据综述[13]，迁移学习方法可以分为四类：instance-based, feature-based, parameter-based, 和relational-based方法。

为了更好地理解，图1给出了上述迁移学习的分类。