持续学习的研究进展与趋势

随着深度学习技术的发展与应用，特别是资源受限场景和数据安全场景对序列任务和数据进行快速学习需求的增多，持续学习逐渐成为机器学习领域关注的一个新热点. 不同于人类所具备的持续学习和迁移知识的能力，现有深度学习模型在序列学习过程中容易遭受灾难性遗忘的问题. 因此，如何在动态、非平稳的序列任务及流式数据中不断学习新知识、同时保留旧知识是持续学习研究的核心. 首先，通过对近年来持续学习国内外相关工作的调研与总结，将持续学习方法分为基于回放、基于约束、基于结构3大类，并对这3类方法做进一步的细分. 具体而言，根据所使用的样本来源将基于回放的方法细分为采样回放、生成回放、伪样本回放3类；根据训练约束的来源将基于约束的方法细分为参数约束、梯度约束、数据约束3类；根据对于模型结构的使用方式将基于结构的方法细分为参数隔离、模型拓展2类. 通过对比相关工作的创新点，对各类方法的优缺点进行总结. 其次，对国内外研究现状进行分析. 最后，针对持续学习与其他领域相结合的未来发展方向进行展望.

目前，深度学习算法和模型凭借其优异的性能在众多任务和场景中取得巨大的成功，特别是在图像识别[1-3]、自然语言处理[4-6]和视频分析[7-9]等领域，甚至在具体图像分类、实例分割任务上超越了人类的水平[10]. 然而，当面临新任务，特别是分布差异大的序列任务学习时，深度学习模型的表现就难以达到预期，往往会出现迅速破坏之前学到的旧任务知识的现象，即灾难性遗忘（catastrophic forgetting）. 造成深度模型2种截然不同表现的原因在于，在传统离线非序列任务场景下，深度模型可以重复不断地交错访问和学习任务数据中的知识直到模型饱和，然而在真实序列或在线场景下，旧任务和数据无法被交错访问和读取，导致旧任务的知识及其关联的模型参数逐渐被新任务和数据擦除和覆盖.

不同于深度模型，人类等高级动物虽然也会逐渐忘记以前学到的信息，但很少有新信息的学习会对巩固的知识造成灾难性的干扰，即人类天生具备序列学习和抵抗灾难性遗忘的能力，并且能够利用旧任务的知识帮助新任务的学习，同时将新任务知识整合进现有知识体系[11-12]. 例如，人类在小时候学会了骑自行车、游泳等技能，即便多年没再实践过，长大后在需要时仍然能够轻易上手，进一步还能帮助其快速学习骑摩托车、其他水上运动等. 换言之，人类具有终生学习的能力，这是目前机器学习和深度学习算法所不具备的. 根据目前生物学和神经科学的发现，人类之所以能够进行持续学习，是因为大脑中存在一套丰富的神经生理学机制能够很好地调控不同脑区的稳定性-可塑性的平衡（stability-plasticity balance）[13-15] , 在早期发育的关键时期，大脑的可塑性特别强，随着生物系统在一系列特定的发育阶段稳定下来，可塑性变得不那么突出，在较小规模上保持一定程度的可塑性，以快速适应环境和重组知识. 此外，互补学习系统理论 （complementary learning systems theory）认为智能主体必须拥有2个学习系统，在哺乳动物的新皮质和海马中实例化. 大脑海马体系统具有短期适应性可以快速学习新的信息和知识，而大脑新皮层系统具有长期保持性，二者互补的特性使得人类认知系统可实现短期学习和长期记忆[16-19]. 因此，受人类认知系统的启发，在机器学习领域，如何有效克服灾难性遗忘，在记忆旧知识的同时通过迁移加快新任务的学习，使得深度模型在序列任务数据中持续不断的学习，即持续学习（continual learning），得到广泛关注和研究，具有重要科学研究价值和应用价值.