近年来,深度学习的进展在很大程度上得益于数据和计算资源的增加。尽管数据的丰富性使模型在某些领域表现良好,但在实际应用中(例如医学领域),数据往往稀缺或难以收集。此外,也存在将大型数据集视为许多相关的小数据集的情境,其中一个小数据集相关任务的数据可能不充足。同时,人类智能通常只需少量样本即可在新任务上表现出色,这强调了设计数据高效AI系统的重要性。本论文探讨了应对这一挑战的两种策略:元学习和对称性。

元学习将数据丰富的环境视为许多小型、独立数据集的集合。每个小数据集代表一个不同的任务,但它们之间存在潜在的共享知识。利用这种共享知识可以设计出在相似领域中高效解决新任务的学习算法。相比之下,对称性是一种直接的先验知识。通过确保模型的预测在输入发生任何变换后仍保持一致,这些模型可以提高样本效率和泛化能力。

在后续章节中,我们提出了一些旨在提高深度学习系统数据效率的新技术和模型。首先,我们展示了基于条件神经过程(CNPs)的编码器-解码器风格的元学习方法的成功应用。其次,我们引入了一类新型的表达力强的元学习随机过程模型,这些模型通过在函数空间中堆叠神经参数化的马尔可夫转移算子序列构建而成。最后,我们提出了群等变子采样/上采样层,以解决传统子采样/上采样层中等变性的丧失问题。利用这些层可以构建端到端的等变模型,从而提升数据效率。

https://ora.ox.ac.uk/objects/uuid:98de960f-f7eb-4437-8c37-174b82374b21

成为VIP会员查看完整内容
23

相关内容

牛津大学是一所英国研究型大学,也是罗素大学集团、英国“G5超级精英大学”,欧洲顶尖大学科英布拉集团、欧洲研究型大学联盟的核心成员。牛津大学培养了众多社会名人,包括了27位英国首相、60位诺贝尔奖得主以及数十位世界各国的皇室成员和政治领袖。2016年9月,泰晤士高等教育发布了2016-2017年度世界大学排名,其中牛津大学排名第一。

【MIT博士论文】数据高效强化学习,176页pdf
【AI与医学】多模态机器学习精准医疗健康
国家自然科学基金
5+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
25+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
157+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
401+阅读 · 2023年3月31日
Arxiv
21+阅读 · 2023年3月17日
VIP会员
相关基金
国家自然科学基金
5+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
25+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员