人类智能的一个重要方面是能够从简单的想法中组合出越来越复杂的概念,从而实现快速学习和知识的适应。尽管目前的AI系统表现出色,但在这一领域却有所欠缺,通常无法解决超出其训练分布范围的任务。本论文的工作旨在通过将组合性纳入深度神经网络来弥补这一差距,从而增强它们解决新颖和复杂任务的能力,例如根据复杂的规范生成2D图像和3D资产,或使仿人代理执行多种家庭活动。这篇论文的影响深远,因为组合性在生物学、机器人技术和艺术制作等领域有众多应用。通过显著提高AI系统的组合性能力,这项研究将为不同研究领域中更高效的数据和更强大的模型铺平道路。

"组合性是现代AI系统所缺少的人类智能的一个关键方面。构建概念的能力:结合模式、思想和子目标来构建对世界的结构化表示,然后通过操纵个别组成部分来推理世界,体现在关键的认知能力中。人类可以将个别观察结果融入复杂的知识和信念结构中,对复杂计划进行小范围的针对性调整,想象基本情景的替代方案,并创造出受现有作品启发的新技术或艺术。此类组合能力在AI系统中基本上尚未实现,但实现这一点可能是解锁主要AI能力(如持续学习、可控和稳健行为、高级规划、反事实推理和更强大的泛化)的关键之一。 本论文专注于开发表现出组合能力的神经网络,以解决广泛的任务,如图像生成、问题回答、数学推理、机器人操控和体现决策。目标是使网络能够解决在训练过程中未曝露的概念、目标或技能组合的任务。 我们对组合AI的研究涵盖以下两个轴心:先验知识和组合结构。先验知识描述了模型在培训过程中学习的基本概念和能力集合。在大量数据上训练的大型深度学习模型[131, 125, 13]包含丰富的先验知识,但它们缺乏实现组合性的另一个关键组成部分——组合结构。为了构建组合结构,我们提出了组合算子来组合基本概念。将组合算子应用于预训练模型,使我们能够显著提高AI系统的组合生成能力。

本论文的前两部分介绍了如何构建组合结构。第一部分:构思概念和目标:我们开发了可以组合概念或目标以产生高度可控和复杂、细致行为的神经网络。第二部分:模型组合:我们组合来自不同领域的预训练模型,以在没有任何训练或微调的情况下产生强大的跨模态能力。在第三部分:转移组合性中,我们介绍了如何通过从预训练模型转移知识来以数据高效的方式实现先验知识。"

成为VIP会员查看完整内容
55

相关内容

麻省理工学院(Massachusetts Institute of Technology,MIT)是美国一所研究型私立大学,位于马萨诸塞州(麻省)的剑桥市。麻省理工学院的自然及工程科学在世界上享有极佳的盛誉,该校的工程系曾连续七届获得美国工科研究生课程冠军,其中以电子工程专业名气最响,紧跟其后的是机械工程。其管理学、经济学、哲学、政治学、语言学也同样优秀。
【CMU博士论文】语言理解与生成优化技术,145页pdf
专知会员服务
35+阅读 · 2023年11月22日
【MIT博士论文】可靠机器学习模型部署,279页pdf
专知会员服务
51+阅读 · 2023年11月21日
【MIT博士论文】垂直领域生成式模型,107页pdf
专知会员服务
65+阅读 · 2023年11月13日
【MIT博士论文】高效可靠深度学习的共形方法,213页pdf
专知会员服务
38+阅读 · 2023年11月12日
【MIT博士论文】从未整理数据中的鲁棒学习,220页pdf
专知会员服务
52+阅读 · 2023年11月10日
【MIT博士论文】多模态:模型、算法与应用,196页pdf
专知会员服务
110+阅读 · 2023年8月17日
【MIT博士论文】控制神经语言生成,147页pdf
专知会员服务
21+阅读 · 2022年9月2日
【2022新书】深度学习归一化技术,117页pdf
专知
22+阅读 · 2022年11月25日
深度多模态表示学习综述论文,22页pdf
专知
30+阅读 · 2020年6月21日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
45+阅读 · 2009年12月31日
Arxiv
149+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
385+阅读 · 2023年3月31日
Arxiv
64+阅读 · 2023年3月26日
Arxiv
133+阅读 · 2023年3月24日
Arxiv
19+阅读 · 2023年3月17日
VIP会员
相关VIP内容
【CMU博士论文】语言理解与生成优化技术,145页pdf
专知会员服务
35+阅读 · 2023年11月22日
【MIT博士论文】可靠机器学习模型部署,279页pdf
专知会员服务
51+阅读 · 2023年11月21日
【MIT博士论文】垂直领域生成式模型,107页pdf
专知会员服务
65+阅读 · 2023年11月13日
【MIT博士论文】高效可靠深度学习的共形方法,213页pdf
专知会员服务
38+阅读 · 2023年11月12日
【MIT博士论文】从未整理数据中的鲁棒学习,220页pdf
专知会员服务
52+阅读 · 2023年11月10日
【MIT博士论文】多模态:模型、算法与应用,196页pdf
专知会员服务
110+阅读 · 2023年8月17日
【MIT博士论文】控制神经语言生成,147页pdf
专知会员服务
21+阅读 · 2022年9月2日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
45+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员