神经过程是一种模型家族,它使用神经网络直接参数化从数据集到预测的映射。直接参数化这种映射使得在传统上神经网络会过拟合的小数据问题中使用表达性强的神经网络成为可能。神经过程能够产生校准良好的不确定性,有效处理缺失数据,并且易于训练。这些属性使得这个模型家族在如医疗保健或环境科学等广泛的应用领域中显得非常吸引人。

本论文在三个方面推进了神经过程。

首先,我们提出了卷积神经过程(ConvNPs)。ConvNPs通过构建一种称为平移等变性的对称性来提高神经过程的数据效率。ConvNPs依赖于卷积神经网络而不是多层感知器。 其次,我们提出了高斯神经过程(GNPs)。GNPs直接参数化神经过程预测中的依赖性。当前对预测依赖性建模的方法依赖于一个潜在变量,因此需要近似推理,这削弱了方法的简便性。 第三,我们提出了自回归条件神经过程(AR CNPs)。AR CNPs在不对模型或训练程序进行任何修改的情况下训练神经过程,并在测试时以自回归的方式展开模型。AR CNPs为神经过程框架配备了一个新的旋钮,可以在训练时将建模复杂性和计算开销与测试时的计算开销进行交换。 除了方法论上的进步,本论文还提出了一种软件抽象,使得实现神经过程的方式可以组合。这种方法允许用户通过以不同方式组合基本构建块来快速探索神经过程模型的空间。

成为VIP会员查看完整内容
44

相关内容

博士论文是由攻读博士学位的研究生所撰写的学术论文。它要求作者在博士生导师的指导下,选择自己能够把握和驾驭的潜在的研究方向,开辟新的研究领域。由此可见,这就对作者提出了较高要求,它要求作者必须在本学科的专业领域具备大量的理论知识,并对所学专业的理论知识有相当深入的理解和思考,同时还要具有相当水平的独立科学研究能力,能够为在学科领域提出独创性的见解和有价值的科研成果。因而,较之学士论文、硕士论文,博士论文具有更高的学术价值,对学科的发展具有重要的推动作用。
【宾夕法尼亚博士论文】大规模图机器学习,179页pdf
专知会员服务
39+阅读 · 2022年11月20日
【MIT博士论文】数据高效强化学习,176页pdf
【KDD2020】图神经网络:基础与应用,322页ppt
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
A Survey of Large Language Models
Arxiv
360+阅读 · 2023年3月31日
Arxiv
19+阅读 · 2023年3月17日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员