神经网络如何推理算法？DeepMind Petar等LoG 2022 《神经算法推理》教程，系统性讲解神经网络与经典算法结合

能够可靠地执行算法计算的神经网络可能对机器学习和理论计算机科学具有革命性的潜力。一方面，它们可以实现在深度学习模型中很少看到的那种外推泛化。另一方面，它们可以在以前认为不可访问的输入上运行经典算法。这两个承诺都由神经算法推理蓝图指导，该蓝图最近在Petar Velickovic和Charles Blundell的立场论文中提出。理论上，这是一个非常优雅的对自然输入进行推理的流程，它仔细地利用了深度神经网络作为特征提取器的久经考验的能力。实际上，我们到底走了多远?在本教程中，我们旨在提供回答神经算法推理的三个关键问题所需的基础:如何开发执行算法计算的神经网络，如何在现实问题中部署这种神经网络，以及如何深化其与经典算法的理论联系。我们的教程将从头开始，以一种具有基本计算机科学背景的任何人都可以访问的方式。还将提供动手编码片段，展示与会者如何在相关算法推理数据集(如CLRS)上直接发展他们在图表示学习中的想法，然后在下游智能体中部署它们(如强化学习)。

Part I: Developing NAR (Petar Veličković)

Part II: Deploying NAR (Andreea Deac)

Part III: Deepening NAR (Andrew Dudzik)

参考文献

Harris, TE. and Ross, FS. Fundamentals of a Method for Evaluating Rail Net Capacities. Project RAND Research Memorandum * Vlastelica, M., Paulus, A., Musil, V., Martius, G. and Rolínek, M. Differentiation of Blackbox Combinatorial Solvers. ICLR’20 * Hamrick, JB., Allen, KR., Bapst, V., Zhu, T., McKee, KR., Tenenbaum, JB. and Battaglia, PW. Relational inductive bias for physical construction in humans and machines. CogSci’18