终身学习如何构建？NeurIPS2022《终身学习机》教程，70页ppt

从非平稳数据流中增量地学习新信息，称为终身学习，是自然智能的一个关键特征，但对深度学习是一个开放的挑战。例如，当人工神经网络对来自新任务或数据分布的样本进行训练时，它们往往会迅速失去先前获得的能力，这种现象被称为灾难性遗忘。与此形成鲜明对比的是，人类和其他动物能够在不损害之前已经学会的技能的情况下逐步学习新技能。近年来，许多终身学习的深度学习方法被提出，但人工神经网络和生物神经网络的终身学习能力之间仍然存在很大差距。在本教程中，我们首先询问成功的终身学习机应该具有什么关键能力。然后，我们回顾了当前关于终身学习的文献，并询问我们已经走了多远。我们分两部分来做。回顾了目前文献中使用的流行基准和设置，批判性地评估了它们在多大程度上衡量了现实世界中与终身学习应用相关的进展。其次，我们回顾了目前已经探索的终身学习策略，并询问这些策略在多大程度上可以支持终身学习。特别是，我们想知道还有什么未被探索的生物机制存在。我们以小组讨论结束，在讨论中，我们询问了该领域的专家对未来终身学习研究的最大开放问题的意见。 讲者：

Introduction

What are the key features of a lifelong learning machine? (20 min, Dhireesha) [slides]** **

Part 1: The Problem

Currently used settings and benchmarks (20 min, Gido) [slides]** **

Real-world applications of lifelong learning (20 min, Tyler) [slides]** **

Part 2: Approaches

Current strategies for lifelong learning (25 min, Gido) [slides]** [code] **

What can be learned from biology? (25 min, Dhireesha) [slides]** **

Live Q&A Session (10 min)

Panel Discussion

What should lifelong learning research focus on next? (30 min, moderated by Tyler)** **