【苏黎世联邦理工博士论文】神经系统中的知识不确定性与终身学习，179页pdf

自然智能具有从环境中不断学习的能力，环境是不断变化的，因此产生了需要应对的不确定性，以确保生存。相比之下，人工智能(AI)通常只在特定的训练阶段从数据中学习一次，很少明确表示或利用不确定性。在这篇论文中，我们通过设计和理解基于神经网络的模型，在这些方面为改进人工智能做出贡献，这些模型可以持续学习，并明确表示几种不确定性来源，最终目标是获得有用、可靠和实用的模型。

我们首先将这项研究置于一个更广泛的背景下，并提供对不确定性估计和持续学习领域的介绍。对于那些有兴趣熟悉这些主题的人来说，这个详细的回顾可以成为一个入门点。在奠定这个基础之后，我们将深入研究如何持续学习一组任务的具体问题，并提出我们基于神经网络系统解决这一问题的方法。更具体地说，我们训练一个元网络为推理模型生成特定于任务的参数，并表明，在这种设置下，可以在元级别使用简单的正则化来防止遗忘。由于任务特定解决方案的存在，出现了必须推断不可见输入所属的任务的问题。我们研究了解决这一任务推理问题的两种主要方法:(i)基于重玩的方法和(ii)基于不确定性的方法。尽管基于重放的任务推理在简单的基准测试中表现出了显著的性能，但我们的这种方法的实现依赖于生成建模，随着任务复杂性的增加，这变得不成比例地困难。另一方面，基于不确定性的任务推理不依赖外部模型，更容易扩展到复杂的场景。因为校准任务推断所需的不确定性是困难的，在实践中，人们经常求助于应该知道他们不知道的东西的模型。这在理论上可以通过对模型参数的贝叶斯处理来实现。然而，由于对基于神经网络的模型的先验知识的难以解释，也就很难解释模型知道什么是不知道的。这种认识的意义超越了持续学习，更普遍地影响了当前机器学习模型如何处理看不见的输入。我们讨论了神经网络中与选择先验知识相关的复杂性，并表明常见的选择往往导致不确定性，这些不确定性在本质上不能反映特定的需求数据，如检测模型不应推广到的看不出的输入。

总体而言，本文对当前深度学习研究中的两个重要课题——不确定性估计和持续学习进行了总结和贡献，同时揭示了现有的挑战，评估了新的方法，并确定了未来研究的有前途的途径。

---