迁移学习:迈向真正的人工智能

2020 年 8 月 16 日 AINLP

作者:张钹院士

清华大学人工智能研究院院长

 

30多年前我与杨强教授在人工智能(AI)的国际会议上相遇并相识,而后发现我们对AI有着共同的兴趣并从事类似的研究工作。当时正处于第一代AI的高潮,符号主义占主导地位。我们利用以知识为基础的符号推理模型研究AI中的各种问题,如规划搜索学习等。这是当时的主流,以机器学习为例,如从观察中学习、基于案例的推理、类比学习和归纳学习等,它们均从模仿人类的宏观学习机制出发,以知识(或经验)驱动为基础。这种学习方法的优点是,学习的模型和结果很容易实现跨领域和跨任务的推广


不难看出,这些学习方法正是当今迁移学习Transfer Learning)的探路者。可惜,不久它们就遭遇了AI的冬天。由于知识获取与表示的困难,以及当时计算机计算能力的限制,符号主义的主张没有得到应有的发展和大规模的应用,以知识为基础的学习方法也同样受到重创。21世纪初,机器学习中的一个分支——概率统计学习(特别是深度学习)异军突起,获得巨大成功。它不仅建立了较好的理论基础和有效的算法,还成功地得到商业应用,成为推动产业和社会发展的重要力量,使AI进入了以数据驱动为主导的第二代AI发展时代。凭借大数据、强大的算法和算力,第二代AI在模式识别等领域表现出超越人类的性能。可惜,以数据驱动为基础建立的AI系统十分脆弱,推广能力也很差,例如:机器学习模型在某些方面可以具有很高的性能,但当模型应用于有别于训练环境的场景中时,其性能显著下降,甚至完全不能使用,与人类“随机应变”和“举一反三”的真正智能相去甚远。


为了迈向真正的AI,我们需要第三代AI,而迁移学习正在向这一道路迈进。迁移学习将知识驱动方法和数据驱动方法结合起来,以打破基于大数据的“黑箱”学习带来的不可解释、脆弱与易受攻击等缺陷,建立可解释与鲁棒的AI理论和方法,开发安全、可信、可靠和可扩展的AI技术。由于能同时利用知识数据算法算力这四大要素,AI一定可以再创辉煌。《迁移学习》展示了在通往真正AI的道路上作者在机器学习领域已经取得的成果。


迁移学习如何将基于数据学习得到的模型从一种场景更新或者迁移到另一场景,从而实现跨领域和跨任务的推广?具体的做法如下:首先,从学习训练的环境(包括训练数据与方法)出发,发现哪些(具有某种通用性的)知识可以跨领域或者跨任务进行迁移,哪些只是针对单个领域或单个任务的特定知识,并利用通用的知识帮助提升目标域或目标任务的性能。这些通用知识主要通过以下4种渠道迁移到目标域中,即源域中可利用的样本源域和目标域中可共享的特征源域模型中可利用的部分源域中实体之间的特定规则


《迁移学习》是杨强教授与其学生在多年研究的基础上撰写的,它包含了迁移学习的基础、方法、技术和应用。

迁移学习

杨强 张宇 戴文渊 潘嘉林 著

2020年8月 出版


本书主要由两部分组成:第一部分从代表性方法和理论研究的角度介绍迁移学习的基础第二部分讨论迁移学习中的一些新热点,以及展示一些成功应用迁移学习的场景。本书包含很多原创性的成果,是一部值得广大读者阅读的专著。本书向我们展示了作者为走向真正AI所做出的努力,因此不仅适合关注迁移学习的读者,而且对于所有关心人工智能的读者都是有益处的。




周末福利时间:本次联合【机械工业出版社华章公司】为大家带来杨强教授最新力著《迁移学习》,留言区谈谈你的迁移学习体会,截止8月19日周三晚22点,我们会从留言区选择3位认真留言的读者进行赠书(注意,不以点赞为依据,在其他公号已获赠此书者,重复参与活动无效)。




欢迎加入AINLP预训练模型交流群
进群请添加AINLP小助手微信 AINLPer(id: ainlper),备注预训练模型

推荐阅读

这个NLP工具,玩得根本停不下来

征稿启示| 200元稿费+5000DBC(价值20个小时GPU算力)

完结撒花!李宏毅老师深度学习与人类语言处理课程视频及课件(附下载)

从数据到模型,你可能需要1篇详实的pytorch踩坑指南

如何让Bert在finetune小数据集时更“稳”一点

模型压缩实践系列之——bert-of-theseus,一个非常亲民的bert压缩方法

文本自动摘要任务的“不完全”心得总结番外篇——submodular函数优化

Node2Vec 论文+代码笔记

模型压缩实践收尾篇——模型蒸馏以及其他一些技巧实践小结

中文命名实体识别工具(NER)哪家强?

学自然语言处理,其实更应该学好英语

斯坦福大学NLP组Python深度学习自然语言处理工具Stanza试用

关于AINLP

AINLP 是一个有趣有AI的自然语言处理社区,专注于 AI、NLP、机器学习、深度学习、推荐算法等相关技术的分享,主题包括文本摘要、智能问答、聊天机器人、机器翻译、自动生成、知识图谱、预训练模型、推荐系统、计算广告、招聘信息、求职经验分享等,欢迎关注!加技术交流群请添加AINLPer(id:ainlper),备注工作/研究方向+加群目的。


阅读至此了,分享、点赞、在看三选一吧🙏

登录查看更多
0

相关内容

迁移学习(Transfer Learning)是一种机器学习方法,是把一个领域(即源领域)的知识,迁移到另外一个领域(即目标领域),使得目标领域能够取得更好的学习效果。迁移学习(TL)是机器学习(ML)中的一个研究问题,着重于存储在解决一个问题时获得的知识并将其应用于另一个但相关的问题。例如,在学习识别汽车时获得的知识可以在尝试识别卡车时应用。尽管这两个领域之间的正式联系是有限的,但这一领域的研究与心理学文献关于学习转移的悠久历史有关。从实践的角度来看,为学习新任务而重用或转移先前学习的任务中的信息可能会显着提高强化学习代理的样本效率。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
最新《深度强化学习中的迁移学习》综述论文
专知会员服务
153+阅读 · 2020年9月20日
人机对抗智能技术
专知会员服务
200+阅读 · 2020年5月3日
专知会员服务
123+阅读 · 2020年3月26日
2019中国硬科技发展白皮书 193页
专知会员服务
81+阅读 · 2019年12月13日
《迁移学习简明手册》,93页pdf
专知会员服务
134+阅读 · 2019年12月9日
2019年人工智能行业现状与发展趋势报告,52页ppt
专知会员服务
120+阅读 · 2019年10月10日
软件工程师如何转型人工智能?
机器学习算法与Python学习
6+阅读 · 2018年4月26日
入门人工智能该读哪些书?
InfoQ
3+阅读 · 2017年12月4日
【回顾】迁移学习的发展和现状
AI研习社
8+阅读 · 2017年11月17日
【人工智能】人工智能5大商业模式
产业智能官
15+阅读 · 2017年10月16日
王海峰首谈百度AI战略布局(PPT)
新智元
3+阅读 · 2017年9月15日
李飞飞:数据开源对于人工智能发展极为重要
人工智能学家
3+阅读 · 2017年9月6日
Arxiv
9+阅读 · 2019年4月19日
Learning Embedding Adaptation for Few-Shot Learning
Arxiv
16+阅读 · 2018年12月10日
Hierarchical Deep Multiagent Reinforcement Learning
Arxiv
8+阅读 · 2018年9月25日
Arxiv
6+阅读 · 2018年1月11日
VIP会员
相关VIP内容
最新《深度强化学习中的迁移学习》综述论文
专知会员服务
153+阅读 · 2020年9月20日
人机对抗智能技术
专知会员服务
200+阅读 · 2020年5月3日
专知会员服务
123+阅读 · 2020年3月26日
2019中国硬科技发展白皮书 193页
专知会员服务
81+阅读 · 2019年12月13日
《迁移学习简明手册》,93页pdf
专知会员服务
134+阅读 · 2019年12月9日
2019年人工智能行业现状与发展趋势报告,52页ppt
专知会员服务
120+阅读 · 2019年10月10日
相关资讯
软件工程师如何转型人工智能?
机器学习算法与Python学习
6+阅读 · 2018年4月26日
入门人工智能该读哪些书?
InfoQ
3+阅读 · 2017年12月4日
【回顾】迁移学习的发展和现状
AI研习社
8+阅读 · 2017年11月17日
【人工智能】人工智能5大商业模式
产业智能官
15+阅读 · 2017年10月16日
王海峰首谈百度AI战略布局(PPT)
新智元
3+阅读 · 2017年9月15日
李飞飞:数据开源对于人工智能发展极为重要
人工智能学家
3+阅读 · 2017年9月6日
Top
微信扫码咨询专知VIP会员