文末赠书 | 迁移学习: 迈向真正的人工智能

2020 年 8 月 4 日 机器学习与推荐算法

作者：张钹院士

清华大学人工智能研究院院长

30多年前我与杨强教授在人工智能（AI）的国际会议上相遇并相识，而后发现我们对AI有着共同的兴趣并从事类似的研究工作。当时正处于第一代AI的高潮，符号主义占主导地位。我们利用以知识为基础的符号推理模型研究AI中的各种问题，如规划、搜索和学习等。这是当时的主流，以机器学习为例，如从观察中学习、基于案例的推理、类比学习和归纳学习等，它们均从模仿人类的宏观学习机制出发，以知识（或经验）驱动为基础。这种学习方法的优点是，学习的模型和结果很容易实现跨领域和跨任务的推广。

不难看出，这些学习方法正是当今迁移学习（Transfer Learning）的探路者。可惜，不久它们就遭遇了AI的冬天。由于知识获取与表示的困难，以及当时计算机计算能力的限制，符号主义的主张没有得到应有的发展和大规模的应用，以知识为基础的学习方法也同样受到重创。21世纪初，机器学习中的一个分支——概率统计学习（特别是深度学习）异军突起，获得巨大成功。它不仅建立了较好的理论基础和有效的算法，还成功地得到商业应用，成为推动产业和社会发展的重要力量，使AI进入了以数据驱动为主导的第二代AI发展时代。凭借大数据、强大的算法和算力，第二代AI在模式识别等领域表现出超越人类的性能。可惜，以数据驱动为基础建立的AI系统十分脆弱，推广能力也很差，例如：机器学习模型在某些方面可以具有很高的性能,但当模型应用于有别于训练环境的场景中时，其性能显著下降，甚至完全不能使用，与人类“随机应变”和“举一反三”的真正智能相去甚远。

为了迈向真正的AI，我们需要第三代AI，而迁移学习正在向这一道路迈进。迁移学习将知识驱动方法和数据驱动方法结合起来，以打破基于大数据的“黑箱”学习带来的不可解释、脆弱与易受攻击等缺陷，建立可解释与鲁棒的AI理论和方法，开发安全、可信、可靠和可扩展的AI技术。由于能同时利用知识、数据、算法和算力这四大要素，AI一定可以再创辉煌。《迁移学习》展示了在通往真正AI的道路上作者在机器学习领域已经取得的成果。

迁移学习如何将基于数据学习得到的模型从一种场景更新或者迁移到另一场景，从而实现跨领域和跨任务的推广？具体的做法如下：首先，从学习训练的环境（包括训练数据与方法）出发，发现哪些（具有某种通用性的）知识可以跨领域或者跨任务进行迁移，哪些只是针对单个领域或单个任务的特定知识，并利用通用的知识帮助提升目标域或目标任务的性能。这些通用知识主要通过以下4种渠道迁移到目标域中，即源域中可利用的样本、源域和目标域中可共享的特征、源域模型中可利用的部分、源域中实体之间的特定规则。

《迁移学习》是杨强教授与其学生在多年研究的基础上撰写的，它包含了迁移学习的基础、方法、技术和应用。

迁移学习

杨强张宇戴文渊潘嘉林著

2020年8月出版

本书主要由两部分组成：第一部分从代表性方法和理论研究的角度介绍迁移学习的基础；第二部分讨论迁移学习中的一些新热点,以及展示一些成功应用迁移学习的场景。本书包含很多原创性的成果，是一部值得广大读者阅读的专著。本书向我们展示了作者为走向真正AI所做出的努力，因此不仅适合关注迁移学习的读者，而且对于所有关心人工智能的读者都是有益处的。