中科院发布最新迁移学习综述论文,带你全面了解40种迁移学习方法

2019 年 11 月 12 日 专知

【导读】迁移学习(Transfer Learning)作为近年来的研究热点之一,受到了广泛关注,每年在各大会议上都有大量的相关文章发表。由于其广泛的应用前景,迁移学习已经成为机器学习中一个热门和有前途的领域。这篇新出论文对近几年迁移学习进行了全面综述,对现有的迁移学习研究进行梳理使其系统化,并对迁移学习的机制和策略进行全面的归纳和解读,帮助读者更好地了解当前的研究现状和思路。作者分别从数据和模型的角度对40多种具有代表性的迁移学习方法进行了综述,并且还简要介绍了迁移学习的一些应用。同时为了展示不同迁移学习模型的性能,作者在Amazon Reviews,Reuters-21578和Office-31这三个数据集上使用了20种具有代表性的迁移学习模型进行实验。



题目:A Comprehensive Survey on Transfer Learning

作者:Fuzhen Zhuang, Zhiyuan Qi, Keyu Duan, Dongbo Xi, Yongchun Zhu, Hengshu Zhu, Senior Member, IEEE, Hui Xiong, Senior Member, IEEE, and Qing He


【摘要】迁移学习的目的是通过迁移包含在不同但相关的源域中的知识来提高目标学习者在目标域上的学习表现。这样,可以减少对大量目标域数据的依赖,以构建目标学习者。由于其广泛的应用前景,迁移学习已经成为机器学习中一个热门和有前途的领域。虽然已经有一些关于迁移学习的有价值的和令人印象深刻的综述,但这些综述介绍的方法相对孤立,缺乏迁移学习的最新进展。随着迁移学习领域的迅速扩大,对相关研究进行全面的回顾既有必要也有挑战。本文试图将已有的迁移学习研究进行梳理使其系统化,并对迁移学习的机制和策略进行全面的归纳和解读,帮助读者更好地了解当前的研究现状和思路。与以往的文章不同,本文从数据和模型的角度对40多种具有代表性的迁移学习方法进行了综述。还简要介绍了迁移学习的应用。为了展示不同迁移学习模型的性能,我们使用了20种有代表性的迁移学习模型进行实验。这些模型是在三个不同的数据集上执行的,即Amazon Reviews,Reuters-21578和Office-31。实验结果表明,在实际应用中选择合适的迁移学习模型是非常重要的。


参考链接:

https://arxiv.org/abs/1911.02685

https://www.zhuanzhi.ai/paper/021fc3dc3356e0089f0e845408cc3aa4

 请关注专知公众号(点击上方蓝色专知关注

  • 后台回复“迁移学习综述” 就可以获取最新论文的下载链接~ 

引言


虽然传统的机器学习已经取得了巨大的成功,并在许多实际应用中得到了成功的应用,但在某些实际场景中仍然存在一定的局限性。机器学习的理想场景是有大量标记的训练实例,它们和测试数据具有相同的分布。然而,在许多应用程序中,收集足够的训练数据通常是昂贵的、耗时的,甚至是不现实的。半监督学习通过减少对大量标记数据的需求,在一定程度上解决了这一问题。半监督方法通常只需要有限数量的标记数据,利用大量的未标记数据来提高学习精度。但是在许多情况下,未标记的实例也很难收集,这通常使得到的传统模型不能令人满意。



迁移学习(Transfer learning)是一种解决上述问题的机器学习方法,它侧重于跨领域的知识转移。实际上,学过钢琴的人学小提琴比别人学得快。受人类跨领域迁移知识能力的启发,迁移学习旨在利用来自相关领域(称为源域)的知识来提高学习性能或最小化目标域所需的标记示例的数量。值得一提的是,源域和目标域之间的关系影响迁移学习模型的性能。凭直觉,学过中提琴的人通常比学过钢琴的人学小提琴更快。相反,如果领域之间没有什么共同之处,学习者尤其容易受到知识迁移的负面影响。这种现象被称为负迁移。


迁移学习可以进一步分为两类,即同构和异构迁移学习[1]。研究者提出了一种基于同构迁移学习的方法来处理域具有相同特征空间的情况。异构迁移学习是指在不同领域具有不同特征空间的情况下的知识转移过程。除了分布适应外,异构迁移学习还需要特征空间自适应[4],这使得异构迁移学习比同构迁移学习更加复杂。本综述旨在从数据和模型的角度,让读者对迁移学习有一个全面的了解。介绍了迁移学习方法的原理和策略,使读者了解迁移学习方法的工作原理。



此外,我们还通过实验验证了迁移学习模型在哪些数据集上表现良好。在这次综述中,我们更关注同构迁移学习。本文还有一些未涉及到的有意思的迁移学习主题,如强化迁移学习[5]、终身迁移学习[6]、在线迁移学习[7]


本文的其余部分分为七个部分。第2节阐明迁移学习与其他相关机器学习技术的区别。第3节介绍了本综述中使用的符号和迁移学习的定义。第4节和第5节分别从数据和模型的角度解释了迁移学习方法。第6节介绍了迁移学习的一些应用。实验结果见第7节。最后一部分总结了本次综述。


这项综述的主要贡献概述如下。

  • 介绍和总结了40多种具有代表性的迁移学习方法,让读者对迁移学习有一个全面的了解。

  • 我们通过实验来比较不同的迁移学习方法。对20种不同方法的性能进行了直观的展示和分析,对读者在实践中选择合适的方法有一定的指导和帮助。



表1 文中符号信息。


迁移学习的分类

迁移学习有几种分类标准。例如,迁移学习问题可以分为三类: 即transductive, inductive, 和unsupervised迁移学习[13]。根据综述[13],迁移学习方法可以分为四类:instance-based, feature-based, parameter-based, 和relational-based方法。


为了更好地理解,图1给出了上述迁移学习的分类。


图1 迁移学习的分类。


基于数据的迁移学习方法

许多迁移学习方法,尤其是基于数据的迁移学习方法,侧重于通过数据的调整和转换来实现知识的迁移。图2从数据的角度展示了这些方法的策略和目标。

图2 从数据的角度看迁移学习方法的策略和目标。


特征转换策略

基于特征的方法通常采用特征转换策略。基于特征的方法将每个原始特征转化为新的特征表示,用于迁移学习。特征变换的操作可分为三种类型:即feature augmentation, feature reduction, 和feature alignment.。


表2 迁移学习中采用的度量标准。


基于模型的迁移学习方法

迁移学习方法也可以从模型的角度来解释。图3为相应的策略和目标函数。迁移学习模型的主要目标是对目标域做出准确的预测结果,如分类或聚类结果。注意,迁移学习模型可能包含一些子模块,如分类器、提取器或编码器。本节根据图3所示的策略,依次介绍了一些相关的迁移学习方法。

图3 从模型的角度看迁移学习方法的策略和目标。


实验

迁移学习技术已成功地应用于许多实际应用中。在本节中,我们将通过实验来评估一些具有代表性的不同类别迁移学习模型在两个主流研究领域的表现,即目标识别和文本分类。

表3 预处理数据集的统计信息。


图5 Reuters-21578上的比较结果


表4 在Amazon Reviews上四个域的Accuracy:Kitchen (K), Electronics (E), DVDs (D) 和Books (B)。



表5 在Reuters-21578上三个域的Accuracy:Orgs, People, and Places。


图6 Office-31上的比较结果.

表6 在Office-31上的三个域的Accuracy:Amazon (A), Webcam (W), 和DSLR (D)。


结论


本文从数据和模型的角度,总结了迁移学习的机制和策略。本综述对迁移学习给出了明确的定义,并使用统一的符号系统来描述大量具有代表性的迁移学习方法和相关工作。基本介绍了基于数据解释和基于模型解释的迁移学习的目标和策略。作者希望工作可以帮助读者更好地了解研究现状和研究思路。


原文链接:

https://arxiv.org/abs/1911.02685

https://www.zhuanzhi.ai/paper/021fc3dc3356e0089f0e845408cc3aa4


更多关于“迁移学习”的论文知识资料,请登录专知网站www.zhuanzhi.ai,查看:

https://www.zhuanzhi.ai/topic/2001115360986073/vip


-END-
专 · 知


专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,或者点击“阅读原文”使用,获取更多AI知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识资料和与专家交流咨询
请加专知小助手微信(扫一扫如下二维码添加), 获取专知VIP会员码 ,加入专知人工智能主题群,咨询技术商务合作~
点击“阅读原文”,注册使用专知
登录查看更多
47

相关内容

迁移学习(Transfer Learning)是一种机器学习方法,是把一个领域(即源领域)的知识,迁移到另外一个领域(即目标领域),使得目标领域能够取得更好的学习效果。迁移学习(TL)是机器学习(ML)中的一个研究问题,着重于存储在解决一个问题时获得的知识并将其应用于另一个但相关的问题。例如,在学习识别汽车时获得的知识可以在尝试识别卡车时应用。尽管这两个领域之间的正式联系是有限的,但这一领域的研究与心理学文献关于学习转移的悠久历史有关。从实践的角度来看,为学习新任务而重用或转移先前学习的任务中的信息可能会显着提高强化学习代理的样本效率。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
元学习(meta learning) 最新进展综述论文
专知会员服务
275+阅读 · 2020年5月8日
零样本图像分类综述 : 十年进展
专知会员服务
122+阅读 · 2019年11月16日
NLP领域中的迁移学习现状
AI科技评论
7+阅读 · 2019年9月1日
预训练模型迁移学习
极市平台
10+阅读 · 2018年11月6日
一文了解迁移学习经典算法
AI100
11+阅读 · 2018年8月4日
【免费下载】迁移学习简明手册
新智元
21+阅读 · 2018年4月13日
【迁移学习】简述迁移学习在深度学习中的应用
产业智能官
15+阅读 · 2018年1月9日
迁移学习在深度学习中的应用
专知
23+阅读 · 2017年12月24日
行人再识别中的迁移学习
计算机视觉战队
11+阅读 · 2017年12月20日
【回顾】迁移学习的发展和现状
AI研习社
8+阅读 · 2017年11月17日
深度 | 迁移学习全面概述:从基本概念到相关研究
七月在线实验室
15+阅读 · 2017年8月15日
A Survey on Bayesian Deep Learning
Arxiv
59+阅读 · 2020年7月2日
A Comprehensive Survey on Transfer Learning
Arxiv
117+阅读 · 2019年11月7日
Arxiv
6+阅读 · 2019年7月29日
Few-shot Learning: A Survey
Arxiv
362+阅读 · 2019年4月10日
Transfer Adaptation Learning: A Decade Survey
Arxiv
37+阅读 · 2019年3月12日
Arxiv
135+阅读 · 2018年10月8日
Arxiv
4+阅读 · 2018年9月11日
Arxiv
21+阅读 · 2018年8月30日
Arxiv
19+阅读 · 2018年3月28日
VIP会员
相关资讯
NLP领域中的迁移学习现状
AI科技评论
7+阅读 · 2019年9月1日
预训练模型迁移学习
极市平台
10+阅读 · 2018年11月6日
一文了解迁移学习经典算法
AI100
11+阅读 · 2018年8月4日
【免费下载】迁移学习简明手册
新智元
21+阅读 · 2018年4月13日
【迁移学习】简述迁移学习在深度学习中的应用
产业智能官
15+阅读 · 2018年1月9日
迁移学习在深度学习中的应用
专知
23+阅读 · 2017年12月24日
行人再识别中的迁移学习
计算机视觉战队
11+阅读 · 2017年12月20日
【回顾】迁移学习的发展和现状
AI研习社
8+阅读 · 2017年11月17日
深度 | 迁移学习全面概述:从基本概念到相关研究
七月在线实验室
15+阅读 · 2017年8月15日
相关论文
A Survey on Bayesian Deep Learning
Arxiv
59+阅读 · 2020年7月2日
A Comprehensive Survey on Transfer Learning
Arxiv
117+阅读 · 2019年11月7日
Arxiv
6+阅读 · 2019年7月29日
Few-shot Learning: A Survey
Arxiv
362+阅读 · 2019年4月10日
Transfer Adaptation Learning: A Decade Survey
Arxiv
37+阅读 · 2019年3月12日
Arxiv
135+阅读 · 2018年10月8日
Arxiv
4+阅读 · 2018年9月11日
Arxiv
21+阅读 · 2018年8月30日
Arxiv
19+阅读 · 2018年3月28日
Top
微信扫码咨询专知VIP会员