【迁移学习】迁移学习的干货学习资料 | 干货分享 | 技术解读

一. 了解迁移学习

       迁移学习（Transfer Learning）目标是将从一个环境中学到的知识用来帮助新环境中的学习任务。 

           > The ability of a system to recognize and apply knowledge and skills learned in previous tasks to novel tasks。

       入门推荐一篇公认的比较好的 【Survey】： A Survey on Transfer Learning，Sinno JialinPan, Qiang Yang，IEEE Trans

       另外，戴文渊的硕士学位论文也可以看一下：基于实例和特征的迁移学习算法研究

       Survey 作者归纳了 Transfer Learning 相关的知识域，有必要了解一下这些名词：

● Learning学习 - learning to learn

● 终身学习 - life-long learning

● 知识转移 - knowledge transfer

● 归纳迁移 - inductive transfer

● 多任务学习 - multi-task learning

● 知识的巩固 - knowledge consolidation

● 上下文相关学习 - context sensitive learning

● 基于知识的归纳偏差 - knowledge-based inductive bias

● 元学习 - meta learning

● 增量学习 - and incremental/cumulative learning

       另外，进展及 Open Source Toolkit 可以参考：http://www.cse.ust.hk/TL/index.html

二. 迁移学习分类

       迁移学习（Transfer Learning）根据 领域 和 任务的相似性，可以这样划分： 

        

        我们根据 源Domain和目前Domain 之间的关系，源Task 和 目标Task之间的关系，以及任务方法更详细的整理为下表：

		源Domain &  目标Domain	源Task &  目标Task	源Data & 目标Data	任务方法
传统机器学习		相同	相同	有标签 | 有标签
迁移学习	归纳式迁移学习	相同/相关	相关	多任务学习 - 有标签 | 有标签  自我学习    - 无标签 | 有标签	分类回归
	直推式迁移学习	相关	相同	有标签 | 无标签	分类回归
	无监督迁移学习	相关	相关	无标签 | 无标签	聚类降维

       实际上，归纳式迁移学习 是应用最广泛的一种方法，从这点上看，迁移学习更适合 有标签的应用域。

       根据技术方法，我们将迁移学习的方法划分为：

	说明	归纳式	直推式	无监督
基于样本 的迁移学习	通过调整 源Domain的标签（辅助） 和 目标Domain标签的权重，协同训练得到目标模型。   典型方法：TrAdaBoost	√	√
基于特征 的迁移学习	找到 “好”特征 来减少源Domain和目标Domain之间的不同，能够降低分类、回归误差。   典型方法：Self-taught learning，multi-task structure learning	√	√	√
基于参数 的迁移学习	发现源Domain和目标Domain之间的共享参数或先验关系。   典型方法：Learning to learn，Regularized multi-task learning	√
基于相关性 的迁移学习	建立源Domain和目标Domain之间的相关知识映射。   典型方法：Mapping 方法	√

       迁移学习方法虽然在学术有很多研究工作，实际上在应用领域并不算成熟，这本身就是一个很大的命题，关于迁移学习的条件 和 本质也并未形成一套正统的体系来引领研究方向，更多的也是在实验摸索。

       迁移学习 目前面临如下几个问题：

1. 哪种情况适合做迁移学习？ - What

    这里先给个自己的理解：

        分类和回归问题是比较适合做迁移学习的场景，有标签的源数据是最好的辅助。

2. 该选择哪种方法？ - Which

    简单而行之有效的方法是首选，领域在快速发展，也不必拘泥算法本身，改善结果才是硬道理。

3. 如何避免负迁移？ - How

    迁移学习的目标是改善目标域的 Task效果，这里面 负迁移（Negative Transfer）是很多研究者面临的一个问题，如何得到行之有效的改进，避免负迁移是需要大家去评估和权衡的。

三. 经典算法 TrAdaBoost

       TrAdaBoost 算法是基于 样本迁移的 开山之作，由 戴文渊 提出，有着足够的影响力放在第一位来进行讲解。

       论文下载：Boosting for Transfer Learning

       算法的基本思想是 从源 Domain 数据中 筛选有效数据，过滤掉与目标 Domain 不match的数据，通过 Boosting方法建立一种权重调整机制，增加有效数据权重，降低无效数据权重，下图是 TrAdaBoost 算法的示意图（截图来自于  庄福振 - 迁移学习研究进展）：

        

       TrAdaBoost 算法比较简单，用一句话概括就是 从过期数据里面 找出和目标数据最接近的样本数据。

       来看 TrAdaBoost 的算法步骤：

        

     

       这里需要说明的一点就是 权重的更新方式，对于辅助样本来讲，预测值和标签越接近，权重越大；而对于目标数据则是相反，预测值和标签差异越大，权重越大。这种策略狠容易理解，我们想找到辅助样本中 和 目标数据分布最接近的样本，同时放大目标样本Loss的影响，那么理想的结果就是：

       目标样本预测值与标签尽量匹配（不放过一个没匹配好的数据），辅助样本在前面的基础上筛选出最 match（权重大的） 的部分。

       作者在后面给出了理论证明，这里有两个公式（来证明算法收敛）：

         

          

        因篇幅问题，这里就不再展开了（和作者说的一样），有兴趣可以参考原Paper，看下实验结果：

        

        实验发现，当 同分布数据（目标数据）占比当低于0.1时，算法效果明显，当比例超过 0.1时，TrBoost 退化为 SVM 的效果。

       这又是一个显而易见的结论，我们认为大于0.1时，仅仅依靠 目前数据就足够完成样本训练，这种情况下，辅助样本的贡献可以忽略。

       另外，当 目标数据 和 辅助数据 差别比较大时，该方法是不 Work的，印证了最初的假设，这里不再展开证明。

       最后，给出网友提供的C代码：【下载地址】

四. 多任务学习

       多任务学习（Multi-Task Learning, MTL）是一种同时学习多个任务的机器学习方法，该方法由来已久，和深度学习没什么关系。

       如果非要把它 和深度学习加上一个 link，我们可以这样来表示：

       input1 -> Hidden1-> H1-> Out1                          input1                                       -> Out1

       input2 -> Hidden2-> H2-> Out2         ==>          input2 -> Hidden123 -> H123   -> Out2

       input3 -> Hidden3-> H3-> Out3                         input3                                        -> Out3

       也比较好理解，相当于把多个 Task网络进行合并，同时训练多个任务，这种情况并不鲜见，比如以下2个方向：

1）目标检测 － 复合多任务

    目标检测是 分类问题＋回归问题的组合，这是一个典型的 Multi-Task，比如:

        Detection＝Classification＋Location

        Mask RCNN = Classification＋Location＋Segmentation

    检测问题前面描述的比较多了，这里就不再贴图了。

2）特征提取 

    多任务特征提取，多个输出，这一类问题代表就是 数据结构化，特征识别。

    下图是港中文 汤晓鸥组发表的TCDCN（Facial Landmark Detection by Deep Multi-task Learning），很多讲 Multi－Task的软文都拿出来说，我们也借用一下。

    在这里 Multi-Task 被同时用作 人脸关键点定位、姿态估计和属性预测（比如性别、年龄、人种、微笑？戴眼镜？）

        

       多任务学习适用于这样的情况：

1）多个任务之间存在关联，比如行人和车辆检测，对于深度网络也可以理解为有部分共同的网络结构；

2）每个独立任务的训练数据比较少，单独训练无法有效收敛；

3）多个任务之间存在相关性信息，单独训练时无法有效挖掘；

       可以看一下这篇 Tutorial：www.public.asu.edu/~jye02/Software/MALSAR/MTL-SDM12.pdf

       关于多任务学习的应用，比如 分类任务下的二级分类，人脸识别等，大家可以更进一步了解。

 

人工智能赛博物理操作系统

AI-CPS OS

“人工智能赛博物理操作系统”（新一代技术+商业操作系统“AI-CPS OS”：云计算+大数据+物联网+区块链+人工智能）分支用来的今天，企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中，利用AI-CPS OS形成数字化+智能化力量，实现行业的重新布局、企业的重新构建和自我的焕然新生。

AI-CPS OS的真正价值并不来自构成技术或功能，而是要以一种传递独特竞争优势的方式将自动化+信息化、智造+产品+服务和数据+分析一体化，这种整合方式能够释放新的业务和运营模式。如果不能实现跨功能的更大规模融合，没有颠覆现状的意愿，这些将不可能实现。

领导者无法依靠某种单一战略方法来应对多维度的数字化变革。面对新一代技术+商业操作系统AI-CPS OS颠覆性的数字化+智能化力量，领导者必须在行业、企业与个人这三个层面都保持领先地位：

1. 重新行业布局：你的世界观要怎样改变才算足够？你必须对行业典范进行怎样的反思？

2. 重新构建企业：你的企业需要做出什么样的变化？你准备如何重新定义你的公司？

3. 重新打造自己：你需要成为怎样的人？要重塑自己并在数字化+智能化时代保有领先地位，你必须如何去做？

AI-CPS OS是数字化智能化创新平台，设计思路是将大数据、物联网、区块链和人工智能等无缝整合在云端，可以帮助企业将创新成果融入自身业务体系，实现各个前沿技术在云端的优势协同。AI-CPS OS形成的数字化+智能化力量与行业、企业及个人三个层面的交叉，形成了领导力模式，使数字化融入到领导者所在企业与领导方式的核心位置：

1. 精细：这种力量能够使人在更加真实、细致的层面观察与感知现实世界和数字化世界正在发生的一切，进而理解和更加精细地进行产品个性化控制、微观业务场景事件和结果控制。

2. 智能：模型随着时间（数据）的变化而变化，整个系统就具备了智能（自学习）的能力。

3. 高效：企业需要建立实时或者准实时的数据采集传输、模型预测和响应决策能力，这样智能就从批量性、阶段性的行为变成一个可以实时触达的行为。

4. 不确定性：数字化变更颠覆和改变了领导者曾经仰仗的思维方式、结构和实践经验，其结果就是形成了复合不确定性这种颠覆性力量。主要的不确定性蕴含于三个领域：技术、文化、制度。

5. 边界模糊：数字世界与现实世界的不断融合成CPS不仅让人们所知行业的核心产品、经济学定理和可能性都产生了变化，还模糊了不同行业间的界限。这种效应正在向生态系统、企业、客户、产品快速蔓延。

AI-CPS OS形成的数字化+智能化力量通过三个方式激发经济增长：

1. 创造虚拟劳动力，承担需要适应性和敏捷性的复杂任务，即“智能自动化”，以区别于传统的自动化解决方案；

2. 对现有劳动力和实物资产进行有利的补充和提升，提高资本效率；

3. 人工智能的普及，将推动多行业的相关创新，开辟崭新的经济增长空间。

给决策制定者和商业领袖的建议：

1. 超越自动化，开启新创新模式：利用具有自主学习和自我控制能力的动态机器智能，为企业创造新商机；

2. 迎接新一代信息技术，迎接人工智能：无缝整合人类智慧与机器智能，重新

   评估未来的知识和技能类型；

3. 制定道德规范：切实为人工智能生态系统制定道德准则，并在智能机器的开

   发过程中确定更加明晰的标准和最佳实践；

4. 重视再分配效应：对人工智能可能带来的冲击做好准备，制定战略帮助面临

   较高失业风险的人群；

5. 开发数字化+智能化企业所需新能力：员工团队需要积极掌握判断、沟通及想象力和创造力等人类所特有的重要能力。对于中国企业来说，创造兼具包容性和多样性的文化也非常重要。

子曰：“君子和而不同，小人同而不和。”  《论语·子路》云计算、大数据、物联网、区块链和 人工智能，像君子一般融合，一起体现科技就是生产力。

如果说上一次哥伦布地理大发现，拓展的是人类的物理空间。那么这一次地理大发现，拓展的就是人们的数字空间。在数学空间，建立新的商业文明，从而发现新的创富模式，为人类社会带来新的财富空间。云计算，大数据、物联网和区块链，是进入这个数字空间的船，而人工智能就是那船上的帆，哥伦布之帆！

新一代技术+商业的人工智能赛博物理操作系统AI-CPS OS作为新一轮产业变革的核心驱动力，将进一步释放历次科技革命和产业变革积蓄的巨大能量，并创造新的强大引擎。重构生产、分配、交换、消费等经济活动各环节，形成从宏观到微观各领域的智能化新需求，催生新技术、新产品、新产业、新业态、新模式。引发经济结构重大变革，深刻改变人类生产生活方式和思维模式，实现社会生产力的整体跃升。

---

产业智能官  AI-CPS

用“人工智能赛博物理操作系统”（新一代技术+商业操作系统“AI-CPS OS”：云计算+大数据+物联网+区块链+人工智能），在场景中构建状态感知-实时分析-自主决策-精准执行-学习提升的认知计算和机器智能；实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链。

长按上方二维码关注微信公众号： AI-CPS，更多信息回复：

新技术：“云计算”、“大数据”、“物联网”、“区块链”、“人工智能”；新产业：“智能制造”、“智能农业”、“智能金融”、“智能零售”、“智能城市”、“智能驾驶”；新模式：“财富空间”、“数据科学家”、“赛博物理”、“供应链金融”。

官方网站：AI-CPS.NET

本文系“产业智能官”（公众号ID：AI-CPS）收集整理，转载请注明出处！

---

---

版权声明：由产业智能官（公众号ID：AI-CPS）推荐的文章，除非确实无法确认，我们都会注明作者和来源。部分文章推送时未能与原作者取得联系。若涉及版权问题，烦请原作者联系我们，与您共同协商解决。联系、投稿邮箱：erp_vip@hotmail.com

---

---