人类具有不断从经验中学习的非凡能力。我们不仅可以把以前学到的知识和技能运用到新的情况下,我们也可以把这些作为以后学习的基础。人工智能(AI)的宏伟目标之一是构建一个人工的“持续学习”代理,通过自主增量开发越来越复杂的知识和技能,从自身经验构建对世界的复杂理解(Parisi, 2019年)。然而,尽管有早期的推测和很少的先前工作(Ring, 1998; Thrun, 1998; Carlson, 2010),很少有研究和努力致力于解决这一愿景。当前人工智能系统深受新数据或新环境的影响,这些新数据或新环境与他们所接受的训练稍有不同(Goodfellow, 2013)。此外,学习过程通常被限制在限定和孤立的任务内的固定数据集,这可能很难导致出现更复杂和自主的智能行为。从本质上讲,持续学习和适应能力,虽然经常被认为是每一个智能代理的基本支柱,但大多被排除在主要的人工智能研究重点之外。

在本教程中,我们提出根据机器学习研究和人工智能深度架构(Lomonaco, 2019)的最新进展总结这些想法的应用。从一个动机和一个简短的历史开始,我们将最近的持续学习进展与之前在相关主题上的研究努力联系起来,并总结了主要方法、基准和关键结果方面的最新进展。在教程的第二部分,我们计划涵盖更多关于低监督信号的持续学习的探索性研究,以及与其他范式的关系,如无监督,半监督和强化学习。我们还将强调神经科学的最新发现对原始持续学习算法设计的影响,以及它们在现实应用中的部署。最后,我们将强调持续学习的概念,作为可持续机器学习的关键技术推动者及其社会影响,并概述有趣的研究问题和未来值得解决的方向。

https://sites.google.com/view/cltutorial-icml2021

成为VIP会员查看完整内容
74

相关内容

专知会员服务
33+阅读 · 2021年9月18日
专知会员服务
18+阅读 · 2021年7月28日
专知会员服务
76+阅读 · 2021年7月23日
专知会员服务
36+阅读 · 2021年6月3日
专知会员服务
80+阅读 · 2021年5月10日
持续学习最新综述论文,29页pdf
专知会员服务
117+阅读 · 2021年4月22日
【Alma Mate博士论文】深度架构持续学习,附150页pdf与Slides
专知会员服务
44+阅读 · 2020年11月18日
【Cell 2020】神经网络中的持续学习
专知会员服务
59+阅读 · 2020年11月7日
Imitation by Predicting Observations
Arxiv
4+阅读 · 2021年7月8日
Arxiv
23+阅读 · 2020年9月16日
Arxiv
5+阅读 · 2019年8月22日
Arxiv
21+阅读 · 2019年3月25日
Arxiv
3+阅读 · 2018年8月17日
VIP会员
相关VIP内容
专知会员服务
33+阅读 · 2021年9月18日
专知会员服务
18+阅读 · 2021年7月28日
专知会员服务
76+阅读 · 2021年7月23日
专知会员服务
36+阅读 · 2021年6月3日
专知会员服务
80+阅读 · 2021年5月10日
持续学习最新综述论文,29页pdf
专知会员服务
117+阅读 · 2021年4月22日
【Alma Mate博士论文】深度架构持续学习,附150页pdf与Slides
专知会员服务
44+阅读 · 2020年11月18日
【Cell 2020】神经网络中的持续学习
专知会员服务
59+阅读 · 2020年11月7日
微信扫码咨询专知VIP会员