深度学习在图像分类和物体识别等复杂的模式识别任务中表现出色。然而,它很难处理需要困难推理的任务,比如算法计算。人类能够通过迭代推理来解决这样的任务——花更多的时间来思考更难的任务。然而,大多数现有的神经网络都表现出由神经网络体系结构控制的固定计算开销,从而阻止了对更难的任务进行额外的计算处理。在这项工作中,我们提出了一个新的框架迭代推理与神经网络。我们训练一个神经网络,将所有输出的能量参数化,并将迭代推理的每一步作为能量最小化步骤来实现,以找到最小能量解决方案。通过将推理作为一个能量最小化问题,对于导致更复杂的能量景观的更难的问题,我们可以通过运行一个更复杂的优化程序来调整我们的潜在计算预算。我们的经验表明,我们的迭代推理方法在图和连续域可以解决更精确和可泛化的算法推理任务。最后,我们说明了我们的方法可以递归地解决需要嵌套推理的算法问题。可以在https://energy-based-model.github.io/iterativereasoning-as-energy-minimization/上获得代码和其他信息。

成为VIP会员查看完整内容
25

相关内容

国际机器学习大会(International Conference on Machine Learning,简称ICML ) 是由国际机器学习学会(IMLS)主办的机器学习国际顶级会议,也是CCF-A类学术会议。ICML 2022 共收到5630 投稿,接收1117 篇 short oral,118篇 long oral,录用率为21.94%。
【ICML2022】通过评估演示者的专业知识进行模仿学习
专知会员服务
16+阅读 · 2022年7月18日
【ICML2022】基于少样本策略泛化的决策Transformer
专知会员服务
35+阅读 · 2022年7月11日
【ICML2022】结构感知Transformer的图表示学习
专知会员服务
47+阅读 · 2022年6月17日
【ICML2022】药物结合结构预测的几何深度学习
专知会员服务
24+阅读 · 2022年5月24日
【AAAI2022】SVT-Net的超轻量化网络
专知会员服务
18+阅读 · 2021年12月5日
专知会员服务
27+阅读 · 2021年8月2日
【ICML2021】学习分子构象生成的梯度场
专知会员服务
14+阅读 · 2021年5月30日
专知会员服务
79+阅读 · 2021年5月10日
【AAAI2022】SVT-Net的超轻量化网络
专知
5+阅读 · 2021年12月5日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
Evolutionary bagging for ensemble learning
Arxiv
0+阅读 · 2022年8月22日
Attentive Graph Neural Networks for Few-Shot Learning
Arxiv
40+阅读 · 2020年7月14日
Arxiv
23+阅读 · 2018年10月1日
VIP会员
相关VIP内容
【ICML2022】通过评估演示者的专业知识进行模仿学习
专知会员服务
16+阅读 · 2022年7月18日
【ICML2022】基于少样本策略泛化的决策Transformer
专知会员服务
35+阅读 · 2022年7月11日
【ICML2022】结构感知Transformer的图表示学习
专知会员服务
47+阅读 · 2022年6月17日
【ICML2022】药物结合结构预测的几何深度学习
专知会员服务
24+阅读 · 2022年5月24日
【AAAI2022】SVT-Net的超轻量化网络
专知会员服务
18+阅读 · 2021年12月5日
专知会员服务
27+阅读 · 2021年8月2日
【ICML2021】学习分子构象生成的梯度场
专知会员服务
14+阅读 · 2021年5月30日
专知会员服务
79+阅读 · 2021年5月10日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员