【迁移学习】迁移学习在图像分类中的简单应用策略

2018 年 1 月 5 日 产业智能官 机器之心

选自Miguel Blog

作者：Miguel González-Fierro

机器之心编译

参与：陈韵竹、刘晓坤

迁移学习（Transfer Learning）预期将成为图像分类领域机器学习商业成就的下一驱动力。对深度网络的再利用正影响着学界和业界的走向。本文介绍了迁移学习的基本概念，以及使用迁移学习的策略。本文使用 PyTorch 代码在多个数据集中进行了实验。

GitHub 地址：https://github.com/miguelgfierro/sciblog_support/blob/master/A_Gentle_Introduction_to_Transfer_Learning/Intro_Transfer_Learning.ipynb

为什么使用迁移学习？

根据 Coursera 联合创始人、斯坦福副教授吴恩达介绍，迁移学习（Transfer Learning）将会成为机器学习商业成就的下一驱动力。

迁移学习是一种机器学习技术，允许在特定的数据集上再利用已训练的卷积神经网络（CNN），并将其调整或迁移到其他数据集。之所以要复用已经训练的 CNN，是因为训练时间太长。例如，在 4 个英伟达 K80 GPU 中将 ResNet18 训练 30 个 epoch 需要 3 天的时间；而在同样的 GPU 上将 ResNet152 训练 120 个 epoch 需要 4 个月。

迁移学习策略

总体而言，迁移学习有两种策略，不过我还没有看到关于命名的最终一致意见。微调（finetuning）——其中包括使用基础数据集上的预训练网络以及在目标数据集中训练所有层；冻结与训练（freeze and train）——其中包括冻结除最后一层的所有层（权重不更新）并训练最后一层。也可以冻结前面几层，然后微调其余层，这是由于一些证据表明 CNN 的前几层包含纹理过滤器（texture filter）和色彩斑点（color blob）。但是，我们这里的工作只分析两种极端情况：训练所有层，以及只训练最后一层。

最常见的基本数据集是 ImageNet，它包含 120 万个图像、1000 个类别。这些类别主要被分为两大类：动物和物体。每个类别的图像数量大约为 1000 个。大多数深度学习库都提供在 ImageNet 上预训练的 CNN 模型。

在下图中，我们可以看到上述提到的两种迁移学习策略。我们在 ImageNet 上使用了一个预训练的 CNN，并将 Simpsons 数据集的子集 Homer Simpson 作为目标集，用该网络对其进行分类。这个子集包含 20 个类，每个类有 300-1000 个图像。

然后，我们可以使用冻结与训练，只训练最后一层（如图上方所示）；或者微调所有层（如图下方所示）。

微调 VS 冻结

我们很难知道在何种情况下应该只训练最后一层，在何种情况下应该微调网络。在「How transferable are features in deep neural networks?」(Yosinsky et. al., 2014) 中，作者解决了在 ImageNet 数据集中量化 CNN 特定层普适程度的问题。他们发现，由于层的相互适应，可迁移性会受到中间层分裂的负面影响。随着任务性质差异的增加，可迁移性的差距会逐渐增长。最终他们发现，通过权重迁移进行网络初始化，而非从零权重开始训练，能够提高泛化性能。

正如 Karpathy 的深度学习教程中指出的，以下是在不同场景中对新数据集使用迁移学习的一些指导原则：

小目标集，图像相似：当目标数据集与基础数据集相比较小，且图像相似时，建议采取冻结和训练，只训练最后一层。
大目标集，图像相似：建议使用微调。
小目标集，图像不同：建议采取冻结和训练，训练最后一层或最后几层。
大目标集，图像不同：建议使用微调。

在实验中，我们使用了有限的几个数据集，以及一个小型网络 ResNet18，所以是否能将结果推广到所有数据集和网络还言之尚早。但是，这些发现可能会对何时使用迁移学习这一问题提供一些启示。以下是结果的总结：

我们观察到的第一个细节是，相比色度数据集而言，训练灰度数据集准确率会下降。这与其他文章作者观察一致，即基础数据集和目标数据集之间的域差异越大，迁移效果越差。

我们同样发现，对于 Simpson 和 Caltech256 数据集而言，冻结会使得准确率大大下降。这在 Simpson 数据集中可以理解，原因可能是域的区别太大了：在 ImageNet 中都是自然图像，但在 Simpson 中大多数都是素色的。在 Caltech 数据集中，除了在冻结时产生的准确率下降，我们最先观察到的是它本身只具有很低的准确率。这可能是因为，对于涵盖很多类别的数据集，每个类别的图像太少了，大约每个类只有几百个而已。

猫狗（dogs vs cats）数据集的域和 ImageNet 最接近。事实上，ImageNet 中就包含着几个品种的猫和狗。在这种情况下，微调和冻结没有多大差别。

最后，在膜翅目昆虫（hymenoptera）数据库中，我们发现，在冻结时，色度数据集有一点小改善。这可能是因为域很靠近，且数据集比较小。在膜翅目昆虫灰度数据库中，冻结就没有改善，这很可能是由于域的差异。

原文地址：https://miguelgfierro.com/blog/2017/a-gentle-introduction-to-transfer-learning-for-image-classification/

本文为机器之心编译

人工智能赛博物理操作系统

AI-CPS OS

“人工智能赛博物理操作系统”（新一代技术+商业操作系统“AI-CPS OS”：云计算+大数据+物联网+区块链+人工智能）分支用来的今天，企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中，利用AI-CPS OS形成数字化+智能化力量，实现行业的重新布局、企业的重新构建和自我的焕然新生。

AI-CPS OS的真正价值并不来自构成技术或功能，而是要以一种传递独特竞争优势的方式将自动化+信息化、智造+产品+服务和数据+分析一体化，这种整合方式能够释放新的业务和运营模式。如果不能实现跨功能的更大规模融合，没有颠覆现状的意愿，这些将不可能实现。

领导者无法依靠某种单一战略方法来应对多维度的数字化变革。面对新一代技术+商业操作系统AI-CPS OS颠覆性的数字化+智能化力量，领导者必须在行业、企业与个人这三个层面都保持领先地位：

重新行业布局：你的世界观要怎样改变才算足够？你必须对行业典范进行怎样的反思？
重新构建企业：你的企业需要做出什么样的变化？你准备如何重新定义你的公司？
重新打造自己：你需要成为怎样的人？要重塑自己并在数字化+智能化时代保有领先地位，你必须如何去做？

AI-CPS OS是数字化智能化创新平台，设计思路是将大数据、物联网、区块链和人工智能等无缝整合在云端，可以帮助企业将创新成果融入自身业务体系，实现各个前沿技术在云端的优势协同。AI-CPS OS形成的数字化+智能化力量与行业、企业及个人三个层面的交叉，形成了领导力模式，使数字化融入到领导者所在企业与领导方式的核心位置：

精细：这种力量能够使人在更加真实、细致的层面观察与感知现实世界和数字化世界正在发生的一切，进而理解和更加精细地进行产品个性化控制、微观业务场景事件和结果控制。
智能：模型随着时间（数据）的变化而变化，整个系统就具备了智能（自学习）的能力。
高效：企业需要建立实时或者准实时的数据采集传输、模型预测和响应决策能力，这样智能就从批量性、阶段性的行为变成一个可以实时触达的行为。
不确定性：数字化变更颠覆和改变了领导者曾经仰仗的思维方式、结构和实践经验，其结果就是形成了复合不确定性这种颠覆性力量。主要的不确定性蕴含于三个领域：技术、文化、制度。
边界模糊：数字世界与现实世界的不断融合成CPS不仅让人们所知行业的核心产品、经济学定理和可能性都产生了变化，还模糊了不同行业间的界限。这种效应正在向生态系统、企业、客户、产品快速蔓延。

AI-CPS OS形成的数字化+智能化力量通过三个方式激发经济增长：

创造虚拟劳动力，承担需要适应性和敏捷性的复杂任务，即“智能自动化”，以区别于传统的自动化解决方案；
对现有劳动力和实物资产进行有利的补充和提升，提高资本效率；
人工智能的普及，将推动多行业的相关创新，开辟崭新的经济增长空间。

给决策制定者和商业领袖的建议：

超越自动化，开启新创新模式：利用具有自主学习和自我控制能力的动态机器智能，为企业创造新商机；
迎接新一代信息技术，迎接人工智能：无缝整合人类智慧与机器智能，重新
评估未来的知识和技能类型；
制定道德规范：切实为人工智能生态系统制定道德准则，并在智能机器的开
发过程中确定更加明晰的标准和最佳实践；
重视再分配效应：对人工智能可能带来的冲击做好准备，制定战略帮助面临
较高失业风险的人群；
开发数字化+智能化企业所需新能力：员工团队需要积极掌握判断、沟通及想象力和创造力等人类所特有的重要能力。对于中国企业来说，创造兼具包容性和多样性的文化也非常重要。

子曰：“君子和而不同，小人同而不和。” 《论语·子路》云计算、大数据、物联网、区块链和人工智能，像君子一般融合，一起体现科技就是生产力。

如果说上一次哥伦布地理大发现，拓展的是人类的物理空间。那么这一次地理大发现，拓展的就是人们的数字空间。在数学空间，建立新的商业文明，从而发现新的创富模式，为人类社会带来新的财富空间。云计算，大数据、物联网和区块链，是进入这个数字空间的船，而人工智能就是那船上的帆，哥伦布之帆！

新一代技术+商业的人工智能赛博物理操作系统AI-CPS OS作为新一轮产业变革的核心驱动力，将进一步释放历次科技革命和产业变革积蓄的巨大能量，并创造新的强大引擎。重构生产、分配、交换、消费等经济活动各环节，形成从宏观到微观各领域的智能化新需求，催生新技术、新产品、新产业、新业态、新模式。引发经济结构重大变革，深刻改变人类生产生活方式和思维模式，实现社会生产力的整体跃升。