【普林斯顿博士论文】神经符号机器学习推理，133页pdf

机器学习在过去十年取得了重大进展。其最成功的范式是深度神经网络，由连续表示层组成，其参数通过梯度下降在大规模数据集上进行优化。

深度神经网络在许多任务上取得了卓越的性能，如物体识别、语言理解和自动驾驶。然而，他们仍然在推理任务中挣扎，这些任务通常需要操作符号并将多个步骤组合起来，例如，求解数学方程或编写计算机程序。在这篇论文中，我们的目标是弥合这一差距，并教机器以精确、系统、可解释和鲁棒的方式进行推理，以应对现实环境中的模糊性。**本文采用神经符号方法，结合机器学习和符号推理的互补优势。符号推理具有精确性和系统性。**但它已被限制在可严格形式化的领域。相比之下，主要的机器学习方法很灵活，但众所周知难以解释，需要大量数据，并且无法在训练分布之外进行泛化。集成两种方法的优势对于构建具有精确和系统泛化能力的灵活推理机至关重要。具体而言，本文从两个角度研究了神经符号推理。首先，将机器学习应用于与符号推理相关的任务，如自动定理证明(第2章)。其次，将符号推理启发的归纳偏差引入机器学习模型，以提高其可解释性、泛化性和数据效率(第3章和第4章)。结果强调了(1)神经符号模型架构，(2)在适当的抽象水平上进行推理，以及(3)明确的、推理的组合表示，如符号证明。 https://dataspace.princeton.edu/handle/88435/dsp015q47rr958