论文 | 2017CIKM - 迁移学习专题论文分享

导读

ACM CIKM 2017全称是The 26th ACM International Conference on Information and Knowledge Management，是国际计算机学会（ACM）主办的数据库、知识管理、信息检索领域的重要学术会议。

参会归来后，小编邀请了参会的同学与各位读者们第一时间分享了CIKM的参会感受。在接下来的CIKM系列分享中，你将会看到：CIKM最佳论文分享，Network Embedding专题和迁移学习专题。本篇文章是CIKM系列分享的三篇：CIKM 迁移学习专题分享。（CIKM其他系列分享请参考本周二、周三的推送。）

Transfer learning (迁移学习，以下简称TL)，有时也称为domain adaptation，是机器学习主流的技术之一。TL的核心思想是从一个有很多标注数据的源领域里学习一些知识来帮助一个标注数据不多的目标领域。TL在工业界有很大的需求，因为大量新的应用场景不断涌现。传统的机器学习需要对每个场景积累大量训练数据，这将会耗费大量的人力与物力。如果我们能利用好现有的训练数据去帮助学习新的场景的学习任务将会大大减少标注的资源。香港科技大学教授、人工智能和数据挖掘专家杨强在TL领域有非常大的贡献，这次他的CIKM2017 keynote就是关于TL怎么和近几年大火的DL（深度学习）结合的。这篇文章主要就是基于杨强教授的CIKM2017 keynote的内容。

PS.完整的keynote的ppt，请关注本账号“蚂蚁金服科技”后在后台回复“CIKM”即可收到！

值得一提的是，斯坦福的教授吴恩达（Andrew Ng）认为下一个机器学习成功的应用将是由TL来驱动的：「TL will be the next driver of ML sucess」。

Why TL is hard? TL的最大挑战是如何学习出源领域和目标领域共同的knowledge（知识），这个knowledge需要具有很好的领域的适应性。

通常来说有以下四类TL算法：

• 样本迁移（Instance based TL）

这里需要在源域中找到与目标域相似的数据，然后调整这个数据的权重在和目标域混合训练。这里的假设是，源域和目标域可能有部分重叠，找出这些重叠的部分可以帮助学习目标域。下个例子就是找到源域的例子3来帮助目标域的学习。这个方法比较简单，但是不适合源域与目标域分布不一致的情况。

• 特征迁移（Feature based TL）

这里假设源域和目标域有一些交叉特征，通过映射可以把源域和目标域放到相同的空间，在这个新的空间里再进行传统的机器学习。这个优点是方法比较通用，效果也不错，但是特征映射比较难，容易过拟合。下图1就是可以从两种类型的狗里面抽象出狗的一些特征，用来帮助目标领域的学习。

• 模型迁移（Parameter based TL）

这里通常是把一个领域训练好的模型用到新的领域，这个时候可能需要新的领域的样本就比较少。再一些图片的分类场景，大家用imagenet训练好的模型来finetune，通常finetune最后几层就可以达到不错的效果。这个方法可以充分利用模型之间的相似性，但是主要问题是不容易收敛。

转自：蚂蚁金服科技

完整内容请点击“阅读原文”