FCS Perspectives | 终身机器学习: 一种持续学习的范式

2017 年 9 月 8 日 FCS 计算机科学前沿

导读

在第一届北美计算机华人学者年会暨计算技术前沿研讨会上，来自伊利诺伊大学芝加哥分校的刘兵教授以“打造能够终身学习的机器”为主题，介绍了终身机器学习（Lifelong Machine Learning，LML），引起了广泛关注。

刘兵教授在 Frontiers of Computer Science (FCS) 2017年第 3 期发表了一篇题为“Lifelong machine learning: a paradigm for continuous learning”的文章，介绍了终身机器学习的研究背景、定义、特征、研究历史，并展望了终身机器学习研究的前景。

为使国内读者更精准地理解和学习终身机器学习的概念，FCS 特别邀请了FCS 青年 AE 石川教授，对该 Perspective 文章进行了精心翻译，以飨读者。

Frontiers of Computer Science, 2017, 11(3): 359-361

DOI 10.1007/s11704-016-6903-6

PERSPECTIVE

终身机器学习:

一种持续学习的范式

作者：刘兵 | 伊利诺伊大学芝加哥分校

特邀译者：石川 | 北京邮电大学

机器学习对数据分析和人工智能的发展起到了巨大的推动作用。近些年，深度学习的成功又使机器学习进入了一个新的高度。机器学习算法已成功应用于工业、科学和工程等几乎所有领域。

背景

当前，机器学习的经典模式是：在给定一个数据集上，运行一个机器学习算法，构建一个模型，然后将这个模型应用在实际的任务上。我们把这种学习范式称为孤立学习，因为它并未考虑任意其他相关的信息和过去学习到的知识。

孤立学习的缺点在于没有记忆，即它没有保留学到的知识，并应用于未来的学习。因此它需要大量的训练样例。

对于监督学习而言，大量的训练样例通常是手工标注得到的，这样费时又费力。但是现实世界中存在太多的学习任务，为了学习一个机器学习模型，对每个任务都手工标注大量的训练数据是不可能的。

更糟的是，事情总是处在不断变化中，因而需要不停地标注训练样例，这显然是无法完成的任务。对建立真正的智能系统而言，当前的孤立学习范式是不合适的，其仅仅可被用于解决具体领域的任务。

我们人类是以完全不同的方式进行学习的。我们从不孤立地学习，而是不断地积累过去学习的知识，并无缝地利用它们学习更多的知识。随着时间的增长，我们将会学习到越来越多的知识，而且越来越善于学习。

终身机器学习（或者终身学习，lifelong machine learning ）就是模仿人类的这种学习过程和能力。由于我们周围的事务都是紧密相关和相互联系的，因此这种学习方式是很自然的。

过去学习到的概念和关系可以帮助我们更好地理解和学习一个新的任务，因为不同领域和任务中的很多知识都是共享的。例如，没有人会给我们1000个正面和1000个负面的汽车评论，然后让我们建立一个分类器去给新的汽车评论分类。事实上，我们人类不需要任何的评论来训练就可以做到这些，因为我们已经积累了很多知识，并且知道人们是如何赞美和贬损事物的。如果没有过去的知识，我们人类是很难用这2000个正负面评论来建立一个好的分类器。

定义

终身机器学习是一个持续学习过程，其中学习器已经执行一个包含N个任务的任务序列T1，T2，…，TN。在面对第N+1个任务TN+1和对应的数据DN+1时，学习器可以利用其知识库中的先验知识来帮助学习TN+1任务。知识库中存储和维护过去N个任务中学习和累积到的知识。在学习了任务TN+1后，知识库会根据TN+1任务中学习到的中间或最终结果进行更新。

陈等人[1]给出的上述定义揭示了终身学习的主要特征：

持续学习；
知识被累积到知识库中；
利用过去学习的知识，以帮助解决未来的学习问题。

这些特征使得终身学习不同于迁移学习或者多任务学习等相关学习任务。

迁移学习是利用源领域来帮助目标领域的学习任务。它假设源领域有大量已经标注的训练数据，目标领域有很少或者根本没有标注的训练数据，但是有很多未标注的数据。迁移学习利用源领域已经标注的数据来帮助目标领域的学习任务。

迁移学习和终身学习存在几点不同。

迁移学习不是持续地学习，它仅仅是利用源领域来帮助目标领域的学习。
迁移学习不积累已学习的知识。
迁移学习是利用源领域帮助目标领域的单向学习过程。
迁移学习假设源领域与目标领域是很相似的，相似性由使用者确定。终身学习并没有这么强的假设，使用者通常也不参与决定任务的相似性。

多任务学习是通过进行多个相似任务的联合优化，以至于通过共享这些任务的知识来得到更好的全局结果。然而，多任务学习仍然遵循传统的机器学习范式。它同时优化多个任务而不是一个任务。

如果我们把多个任务看做一个更大的任务，那么多任务学习就变为传统的优化问题，这通常也是绝大部分多任务学习的优化形式。多任务学习并不积累知识，也没有持续学习的概念。

尽管有人认为，当新任务随时加入时，多任务学习也可以同时优化所有的任务。但是用一个单一的过程同时优化所有的任务是相当困难的，因为学习任务可能是各不相同的并且数量巨大的。

历史

终身机器学习的概念大约是1995年由Thrun和Mitchell[4]提出的，主要有以下四个研究方向。

1终身有监督学习

Thrun[5]率先研究了终身概念学习，即每个过去的或者新来的任务都是一个类或者概念。针对基于内存的学习和神经网络，出现了一些终身机器学习方法。

文献[6]提出了利用终身学习提升神经网络的方法。
Fei等人[7]把终身学习扩展到累积学习（cumulative learning）。当遇到新的类别时，累积学习建立一个新的多类别分类器，它可以区分所有过去的和新的类别，也可以辨别测试集中的未知类别。这也为自学习（self-learning）奠定了基础，因为这种可以辨别未知类别的能力可以用来学习新的事物。
Ruvolo和Eaton [8]提出了高效的终身学习算法ELLA来提升多任务学习方法。
陈等人[1]提出了一种针对朴素贝叶斯分类的终身学习技术。
Petina和Lampert等人[9]也对终身机器学习进行了理论研究。

2终身无监督学习

陈和刘等人[10]首次提出了终身主题模型。之后，他们又提出了一些其他类似的模型。这些技术主要是从过去的任务中得到的主题学习知识，然后在新的任务中利用这些学到的知识产生更加一致的主题。

刘等人[11]提出了一种用于信息抽取的终身学习方法。Shu等人[12]针对情感挖掘问题提出了一种终身图标注方法来区分两类表情。

3终身半监督学习

终身半监督学习的代表性工作是永动语言学习机系统（never-ending language learner，NELL）[13]。从2010年1月以来，NELL系统持续地读取网页信息用于信息抽取，已经积累了上百万的实体和关系。

4终身强化学习

Thrun和Mitchell[4]率先研究终身强化学习用于机器人学习。Tanaka和Yamamura[14]提出了一种终身强化学习方法，它把每个环境都看做一个任务。BouAmmar等人[15]提出了一种高效的策略梯度终身强化学习算法。

总结

尽管终身学习已有20多年的研究历史，但是目前为止还没有太多的研究。一个可能的原因是机器学习研究在过去20年主要关注统计和规则的方法。终身学习主要需要系统的方法。

然而，随着统计机器学习变得愈加成熟，研究者意识到它的局限性，终身学习将变得越来越重要。我们可以比较确信地说，如果没有终身学习的能力，即通过不断地积累已学到的知识并且用已有的知识以一种自激励的方式学习新的任务，我们不可能建立真正的智能系统，我们也仅能在一个很具体的领域解决问题。

致谢

该工作得到国家自然科学基金 (NSF) (IIS-1407927)，NCI基金和博世基金支持。

参考文献

Chen Z Y, Ma N Z, Liu B. Lifelong learning for sentiment classification. In: Proceedings of ACL Conference. 2015
Pan S J, Yang Q. A survey on transfer learning. IEEE Transaction on Knowledge and Data Engineering, 2010, 22(10): 1345–1359
Caruana R. Multitask learning. Machine Learning, 1997, 28(1)
Thrun S, Mitchell T M. Lifelong robot learning. In: Steels L,ed. The Biology and Technology of Intelligent Autonomous Agents. Berlin: Springer,1995, 165–196
Thrun S. Is learning the n-th thing any easier than learning the first? Advances in Neural Information Processing Systems,1996: 640–646
Silver D L, Mercer R E. The task rehearsal method of life-long learning:overcoming impoverished data. In: Proceedings of the 15th Conference of the Canadian Society for Computational Studies of Intelligence on Advances in Artificial Intelligence. 2002, 90–101
Fei G L, Wang S, Liu B. Learning cumulatively to become more knowledgeable. In: Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2016, 1565–1574
Ruvolo P, Eaton E. ELLA: an efficient lifelong learning algorithm. International Conference on Machine Learning. 2013, 28(1): 507–515
Pentina A, Lampert C H. A PAC-Bayesian bound for lifelong learning. International Conference on Machine Learning. 2014: 991–999
Chen Z Y, Liu B. Topic modeling using topics from many domains, lifelong learning and big data. International Conference on Machine Learning, 2014
Liu Q, Liu B, Zhang Y L, Kim D S, Gao Z Q. Improving opinion aspect extraction using semantic similarity and aspect associations. In: Proceedings of the 30th AAAI Conference on Artificial Intelligence. 2016
Shu L, Liu B, Xu H, Kim A. Separating entities and aspects in opinion targets using lifelong graph labeling. In: Proceedings of Conference on Empirical Methods in Natural Language Processing, 2016
Mitchell T, Cohen W, Hruschka E, Talukdar P, Betteridge J, Carlson A, Dalvi B, Gardner M, Kisiel B, Krishnamurthy J, Lao N, Mazaitis K, Mohamed T, Nakashole N, Platanios E, Ritter A, Samadi M, Settles B, Wang R, Wijaya D, Gupta A, Chen X, Saparov A, Greaves M, Welling J. Never-ending learning. In: Proceedings of the 29th AAAI Conference on Artificial Intelligence.2015, 2302–2310
Tanaka F, Yamamura M. An approach to lifelong reinforcement learning through multiple environments. In: Proceedings of the 6th European Workshop on Learning Robots. 1997, 93–9
BouAmmar H, Eaton E, Ruvolo P, Taylor M. Online multi-task learning for policy gradient methods. In: Proceedings of the 31st International Conference on Machine Learning. 2014, 1206–1214

点左下角的「阅读原文」链接阅读英文原文。

作者介绍

刘兵，美国伊利诺伊大学芝加哥分校(UIC)计算机系教授。ACM Fellow，AAAI Fellow，IEEE Fellow。数据挖掘, 机器学习和自然语言理解研究领域的国际知名专家，在国际著名学术期刊与重要国际学术会议(如KDD、WWW、AAAI、IJCAI、ICML、ACL、EMNLP、TKDE等)上发表论文百余篇，论文引次数超过40000。著有多部计算机精选教材。担任过KDD以及多个其他学术会议程序委员会主席和ACM SIGKDD 主席。

特邀译者介绍

石川，北京邮电大学计算机学院教授、博导、智能通信软件与多媒体北京市重点实验室副主任。中国计算机学会人工智能与模式识别专委会委员和人工智能学会知识工程与分布智能专委会委员。主要研究方向: 数据挖掘、机器学习、演化计算和多目标优化。担任SCI期刊《Frontiers of Computer Science》青年AE。近五年来，作为第一作者或通讯作者发表高水平学术论文50余篇，包括数据挖掘领域的顶级期刊和会议IEEE TKDE、ACM TIST、KAIS、DKE、KDD、SDM、CIKM、ECML等，出版英文专著一部。获得ADMA2011国际会议最佳论文奖、CCF-腾讯犀牛鸟基金及项目优秀奖，获得北京市高等院校青年英才计划支持。指导学生获得顶尖国际数据挖掘竞赛IJCAI Contest 2015全球冠军。

Zhi-Hua ZHOU

Perspectives | A peep at knowledge science in a categorical prospect

Ruqian LU

FCS 论坛 | 吴飞：数据驱动与知识引导相结合的模型与方法

FCS 论坛 | 孟德宇：误差建模原理

FCS 论坛 | 耿新：标记分布学习范式

FCS 论坛 | 张敏灵：非消歧偏标记学习

Frontiers of Computer Science

期刊封面_icon.jpg Frontiers of Computer Science 是由教育部主管、高等教育出版社和德国 Springer 公司共同出版的英文学术期刊。本刊于 2007 年创刊，双月刊，全球发行。主要刊登计算机科学领域具有创新性的综述论文、研究论文等。本刊主编为李未院士，执行主编为熊璋教授和周志华教授。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和中国科学引文数据库（CSCD）核心库等收录，为 CCF 推荐期刊；两次入选“中国科技期刊国际影响力提升计划”。