Artificial intelligence (AI) has undergone a renaissance recently, making major progress in key domains such as vision, language, control, and decision-making. This has been due, in part, to cheap data and cheap compute resources, which have fit the natural strengths of deep learning. However, many defining characteristics of human intelligence, which developed under much different pressures, remain out of reach for current approaches. In particular, generalizing beyond one's experiences--a hallmark of human intelligence from infancy--remains a formidable challenge for modern AI. The following is part position paper, part review, and part unification. We argue that combinatorial generalization must be a top priority for AI to achieve human-like abilities, and that structured representations and computations are key to realizing this objective. Just as biology uses nature and nurture cooperatively, we reject the false choice between "hand-engineering" and "end-to-end" learning, and instead advocate for an approach which benefits from their complementary strengths. We explore how using relational inductive biases within deep learning architectures can facilitate learning about entities, relations, and rules for composing them. We present a new building block for the AI toolkit with a strong relational inductive bias--the graph network--which generalizes and extends various approaches for neural networks that operate on graphs, and provides a straightforward interface for manipulating structured knowledge and producing structured behaviors. We discuss how graph networks can support relational reasoning and combinatorial generalization, laying the foundation for more sophisticated, interpretable, and flexible patterns of reasoning.


翻译:人工智能(AI)最近经历了一次复兴,在愿景、语言、控制和决策等关键领域取得了重大进步,部分原因是廉价数据和廉价计算资源,这些都符合深层学习的自然长处。然而,许多在非常不同压力下开发的人类智能的界定特征仍然无法用于目前的方法。特别是,超越了人们的经验 -- -- 幼儿智能的标志,对现代人工智能来说仍然是一项艰巨的挑战。下面是立场文件、部分审查、部分统一等主要领域的一部分。我们认为,组合式的概括化必须成为AI实现人性能力的首要优先事项,结构化的表述和计算是实现这一目标的关键。正如生物学使用自然和协作培育的,我们拒绝在“手动工程”和“端对端”学习之间作出错误的选择,而是倡导一种从其互补优势中受益的方法。我们探索如何在深层次学习结构中运用感性偏见可以促进关于实体、关系和规则的学习。我们提出一个新的结构化解释模式解释模式是实现这一目标的关键。我们提出了一个新的结构化的组织结构,在结构化网络中,为构建一个更牢固的组织结构提供了一种结构化的构建基础。

4
下载
关闭预览

相关内容

神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
26+阅读 · 2020年4月15日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
72+阅读 · 2019年10月9日
VALSE Webinar 特别专题之产学研共舞VALSE
VALSE
6+阅读 · 2019年9月19日
Transferring Knowledge across Learning Processes
CreateAMind
10+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
6+阅读 · 2019年1月18日
无监督元学习表示学习
CreateAMind
22+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
10+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【推荐】自然语言处理(NLP)指南
机器学习研究会
34+阅读 · 2017年11月17日
【论文】图上的表示学习综述
机器学习研究会
9+阅读 · 2017年9月24日
Arxiv
22+阅读 · 2020年1月2日
Arxiv
44+阅读 · 2018年12月11日
Relational recurrent neural networks
Arxiv
8+阅读 · 2018年6月28日
Relational Deep Reinforcement Learning
Arxiv
6+阅读 · 2018年6月28日
Arxiv
14+阅读 · 2018年6月23日
Arxiv
7+阅读 · 2018年5月23日
VIP会员
相关资讯
VALSE Webinar 特别专题之产学研共舞VALSE
VALSE
6+阅读 · 2019年9月19日
Transferring Knowledge across Learning Processes
CreateAMind
10+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
6+阅读 · 2019年1月18日
无监督元学习表示学习
CreateAMind
22+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
10+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【推荐】自然语言处理(NLP)指南
机器学习研究会
34+阅读 · 2017年11月17日
【论文】图上的表示学习综述
机器学习研究会
9+阅读 · 2017年9月24日
相关论文
Top
微信扫码咨询专知VIP会员