推理是人类智慧的基础,对问题解决、决策制定和批判性思维至关重要。推理指的是基于现有知识得出新结论,这可以支持临床诊断、基础教育和金融分析等多种应用。尽管已有大量文献综述了与推理相关的方法,但没有一篇从依赖的知识库视角系统地调查这些方法。不同的应用场景和知识库的存储格式差异显著。因此,从知识库的角度研究推理方法有助于我们更好地理解面临的挑战及未来的发展方向。为了填补这一空白,本文首先将知识库分为符号知识库和参数化知识库。符号知识库显式地以人类可读的符号形式存储信息,而参数化知识库则通过参数隐式地编码知识。接着,我们全面概述了基于符号知识库、基于参数化知识库以及两者结合的推理方法。最后,我们指出了增强推理能力的未来方向,旨在弥合人类与机器智能之间的差距。
推理、符号知识库、参数化知识库、预训练语言模型、知识图谱
推理是指从现有知识中推导出新结论的过程[1],它是人类智慧的基础,对于解决复杂任务如问题解决、决策制定和批判性思维至关重要。推理的认知过程涉及使用证据、论据和逻辑来得出结论或做出判断[2],这种能力可以为各种现实应用提供后台支持,如临床诊断[3–5]、基础教育[6–8]和金融分析[9–11]。推理能力是人类智慧的核心,然而现代自然语言处理系统在基于已知或已学习的信息进行推理时仍然存在困难[12–15]。推理研究在神经科学[16]、心理学[17]、哲学[18, 19]和计算机科学[20]等领域至关重要,因为它有助于缩小人类和机器智能之间的差距[15]。因此,构建一个能够进行推理的人工智能系统既是研究社区的目标,也是提升复杂应用性能的途径[1]。
随着推理技术的迅速发展,一些综述文章[1, 2, 15, 21–30]从不同角度总结了推理方法。例如,有一篇综述[1]研究了使用自然语言格式进行的推理,包括经典的逻辑推理、自然语言推理、多跳问答和常识推理。一些综述[22–25]则强调了基于知识图谱(KGs)中结构化事实的推理方法,如时间知识图谱推理和多模态知识图谱推理。还有一些研究[26–30]关注了推理方法在问答任务中使用的知识来源,如Wikidata知识图谱和维基百科语料库。更近期的综述[2, 15, 21]总结了通过提示大型语言模型进行推理的方法,如链式推理和自我反思系列方法。尽管这些综述提供了宝贵的视角,但没有一篇从知识库的角度系统总结推理方法。如之前的工作所指出[1, 2, 31],推理是将多个现有知识整合以推导出关于世界的新结论的过程,而当前的推理方法在很大程度上依赖于知识库。然而,知识库的应用场景和存储格式差异显著。因此,从知识库的角度研究推理能够帮助我们更深入地理解其中的挑战及未来的发展方向。
本文通过关注支撑推理方法的基础知识库回顾了相关工作。我们首先根据存储格式将这些知识库分为符号型知识库和参数型知识库两类,其中符号型知识库通过类似知识图谱和表格的人类可读符号来呈现信息,而参数型知识库则通过参数隐式地编码信息。然后,我们分别探讨了基于符号知识库、基于参数知识库以及两者结合的推理方法。最后,我们探索了基于符号和参数知识的推理面临的挑战和潜在的未来发展方向。整体框架如图1所示。
本综述的主要贡献如下:
首次从依赖的知识库角度提供了全面的推理研究综述。
我们对利用符号型知识库、参数型知识库及其结合的推理方法进行了全面调查,而以往的综述仅关注其中的一种。
我们详细总结了与推理相关的挑战和未来研究方向,这将有助于推动该领域的发展。
本文的组织结构如下:我们首先在第二节介绍背景。接着,在第三、四、五节中系统介绍不同的推理任务。第六节讨论了相关挑战和未来的研究方向。最后,第七节对本文进行总结。