【ICML2021】深度架构持续学习，127页ppt

人类具有不断从经验中学习的非凡能力。我们不仅可以把以前学到的知识和技能运用到新的情况下，我们也可以把这些作为以后学习的基础。人工智能(AI)的宏伟目标之一是构建一个人工的“持续学习”代理，通过自主增量开发越来越复杂的知识和技能，从自身经验构建对世界的复杂理解(Parisi, 2019年)。然而，尽管有早期的推测和很少的先前工作(Ring, 1998; Thrun, 1998; Carlson, 2010)，很少有研究和努力致力于解决这一愿景。当前人工智能系统深受新数据或新环境的影响，这些新数据或新环境与他们所接受的训练稍有不同(Goodfellow, 2013)。此外，学习过程通常被限制在限定和孤立的任务内的固定数据集，这可能很难导致出现更复杂和自主的智能行为。从本质上讲，持续学习和适应能力，虽然经常被认为是每一个智能代理的基本支柱，但大多被排除在主要的人工智能研究重点之外。

在本教程中，我们提出根据机器学习研究和人工智能深度架构(Lomonaco, 2019)的最新进展总结这些想法的应用。从一个动机和一个简短的历史开始，我们将最近的持续学习进展与之前在相关主题上的研究努力联系起来，并总结了主要方法、基准和关键结果方面的最新进展。在教程的第二部分，我们计划涵盖更多关于低监督信号的持续学习的探索性研究，以及与其他范式的关系，如无监督，半监督和强化学习。我们还将强调神经科学的最新发现对原始持续学习算法设计的影响，以及它们在现实应用中的部署。最后，我们将强调持续学习的概念，作为可持续机器学习的关键技术推动者及其社会影响，并概述有趣的研究问题和未来值得解决的方向。

https://sites.google.com/view/cltutorial-icml2021