自然智能具有从环境中不断学习的能力,环境是不断变化的,因此产生了需要应对的不确定性,以确保生存。相比之下,人工智能(AI)通常只在特定的训练阶段从数据中学习一次,很少明确表示或利用不确定性。在这篇论文中,我们通过设计和理解基于神经网络的模型,在这些方面为改进人工智能做出贡献,这些模型可以持续学习,并明确表示几种不确定性来源,最终目标是获得有用、可靠和实用的模型。

我们首先将这项研究置于一个更广泛的背景下,并提供对不确定性估计和持续学习领域的介绍。对于那些有兴趣熟悉这些主题的人来说,这个详细的回顾可以成为一个入门点。在奠定这个基础之后,我们将深入研究如何持续学习一组任务的具体问题,并提出我们基于神经网络系统解决这一问题的方法。更具体地说,我们训练一个元网络为推理模型生成特定于任务的参数,并表明,在这种设置下,可以在元级别使用简单的正则化来防止遗忘。由于任务特定解决方案的存在,出现了必须推断不可见输入所属的任务的问题。我们研究了解决这一任务推理问题的两种主要方法:(i)基于重玩的方法和(ii)基于不确定性的方法。尽管基于重放的任务推理在简单的基准测试中表现出了显著的性能,但我们的这种方法的实现依赖于生成建模,随着任务复杂性的增加,这变得不成比例地困难。另一方面,基于不确定性的任务推理不依赖外部模型,更容易扩展到复杂的场景。因为校准任务推断所需的不确定性是困难的,在实践中,人们经常求助于应该知道他们不知道的东西的模型。这在理论上可以通过对模型参数的贝叶斯处理来实现。然而,由于对基于神经网络的模型的先验知识的难以解释,也就很难解释模型知道什么是不知道的。这种认识的意义超越了持续学习,更普遍地影响了当前机器学习模型如何处理看不见的输入。我们讨论了神经网络中与选择先验知识相关的复杂性,并表明常见的选择往往导致不确定性,这些不确定性在本质上不能反映特定的需求数据,如检测模型不应推广到的看不出的输入。

总体而言,本文对当前深度学习研究中的两个重要课题——不确定性估计和持续学习进行了总结和贡献,同时揭示了现有的挑战,评估了新的方法,并确定了未来研究的有前途的途径。


成为VIP会员查看完整内容
68

相关内容

博士论文是由攻读博士学位的研究生所撰写的学术论文。它要求作者在博士生导师的指导下,选择自己能够把握和驾驭的潜在的研究方向,开辟新的研究领域。由此可见,这就对作者提出了较高要求,它要求作者必须在本学科的专业领域具备大量的理论知识,并对所学专业的理论知识有相当深入的理解和思考,同时还要具有相当水平的独立科学研究能力,能够为在学科领域提出独创性的见解和有价值的科研成果。因而,较之学士论文、硕士论文,博士论文具有更高的学术价值,对学科的发展具有重要的推动作用。
【UFPE大学博士论文】基于熵损失的鲁棒深度学习
专知会员服务
40+阅读 · 2022年11月11日
【牛津大学博士论文】元强化学习的快速自适应,217页pdf
【ETH博士论文】贝叶斯深度学习,241页pdf
专知会员服务
119+阅读 · 2022年1月16日
【开放电子书】概率编程导论,301页pdf
专知会员服务
47+阅读 · 2021年10月21日
【ETH博士论文】贝叶斯深度学习,241页pdf
专知
8+阅读 · 2022年1月16日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
已删除
Arxiv
31+阅读 · 2020年3月23日
Arxiv
26+阅读 · 2020年2月21日
Arxiv
14+阅读 · 2019年11月26日
Arxiv
17+阅读 · 2019年3月28日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员