摘要

推理是人类智慧的基础,对问题解决、决策制定和批判性思维至关重要。推理指的是基于现有知识得出新结论,这可以支持临床诊断、基础教育和金融分析等多种应用。尽管已有大量文献综述了与推理相关的方法,但没有一篇从依赖的知识库视角系统地调查这些方法。不同的应用场景和知识库的存储格式差异显著。因此,从知识库的角度研究推理方法有助于我们更好地理解面临的挑战及未来的发展方向。为了填补这一空白,本文首先将知识库分为符号知识库和参数化知识库。符号知识库显式地以人类可读的符号形式存储信息,而参数化知识库则通过参数隐式地编码知识。接着,我们全面概述了基于符号知识库、基于参数化知识库以及两者结合的推理方法。最后,我们指出了增强推理能力的未来方向,旨在弥合人类与机器智能之间的差距。

关键词

推理、符号知识库、参数化知识库、预训练语言模型、知识图谱

1 引言

推理是指从现有知识中推导出新结论的过程[1],它是人类智慧的基础,对于解决复杂任务如问题解决、决策制定和批判性思维至关重要。推理的认知过程涉及使用证据、论据和逻辑来得出结论或做出判断[2],这种能力可以为各种现实应用提供后台支持,如临床诊断[3–5]、基础教育[6–8]和金融分析[9–11]。推理能力是人类智慧的核心,然而现代自然语言处理系统在基于已知或已学习的信息进行推理时仍然存在困难[12–15]。推理研究在神经科学[16]、心理学[17]、哲学[18, 19]和计算机科学[20]等领域至关重要,因为它有助于缩小人类和机器智能之间的差距[15]。因此,构建一个能够进行推理的人工智能系统既是研究社区的目标,也是提升复杂应用性能的途径[1]。

随着推理技术的迅速发展,一些综述文章[1, 2, 15, 21–30]从不同角度总结了推理方法。例如,有一篇综述[1]研究了使用自然语言格式进行的推理,包括经典的逻辑推理、自然语言推理、多跳问答和常识推理。一些综述[22–25]则强调了基于知识图谱(KGs)中结构化事实的推理方法,如时间知识图谱推理和多模态知识图谱推理。还有一些研究[26–30]关注了推理方法在问答任务中使用的知识来源,如Wikidata知识图谱和维基百科语料库。更近期的综述[2, 15, 21]总结了通过提示大型语言模型进行推理的方法,如链式推理和自我反思系列方法。尽管这些综述提供了宝贵的视角,但没有一篇从知识库的角度系统总结推理方法。如之前的工作所指出[1, 2, 31],推理是将多个现有知识整合以推导出关于世界的新结论的过程,而当前的推理方法在很大程度上依赖于知识库。然而,知识库的应用场景和存储格式差异显著。因此,从知识库的角度研究推理能够帮助我们更深入地理解其中的挑战及未来的发展方向。

本文通过关注支撑推理方法的基础知识库回顾了相关工作。我们首先根据存储格式将这些知识库分为符号型知识库和参数型知识库两类,其中符号型知识库通过类似知识图谱和表格的人类可读符号来呈现信息,而参数型知识库则通过参数隐式地编码信息。然后,我们分别探讨了基于符号知识库、基于参数知识库以及两者结合的推理方法。最后,我们探索了基于符号和参数知识的推理面临的挑战和潜在的未来发展方向。整体框架如图1所示。

总结

本综述的主要贡献如下:

  • 首次从依赖的知识库角度提供了全面的推理研究综述。

  • 我们对利用符号型知识库、参数型知识库及其结合的推理方法进行了全面调查,而以往的综述仅关注其中的一种。

  • 我们详细总结了与推理相关的挑战和未来研究方向,这将有助于推动该领域的发展。

本文结构

本文的组织结构如下:我们首先在第二节介绍背景。接着,在第三、四、五节中系统介绍不同的推理任务。第六节讨论了相关挑战和未来的研究方向。最后,第七节对本文进行总结。

成为VIP会员查看完整内容
19

相关内容

大规模语言模型增强推荐系统:分类、趋势、应用与未来
专知会员服务
28+阅读 · 2024年12月22日
事件因果关系识别综述:原理、分类法、挑战与评估
专知会员服务
37+阅读 · 2024年11月18日
检索增强生成系统中的可信度:综述
专知会员服务
38+阅读 · 2024年9月18日
生成型大型语言模型的自动事实核查:一项综述
专知会员服务
36+阅读 · 2024年7月6日
扩散模型与表示学习:综述
专知会员服务
46+阅读 · 2024年7月2日
大型语言模型在表格推理中的应用综述
专知会员服务
39+阅读 · 2024年2月14日
《大型语言模型归因》综述
专知会员服务
71+阅读 · 2023年11月8日
专知会员服务
93+阅读 · 2021年9月5日
专知会员服务
65+阅读 · 2020年9月24日
基于模型的强化学习综述
专知
33+阅读 · 2022年7月13日
实体关系抽取方法研究综述
专知
11+阅读 · 2020年7月19日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
【论文笔记】自注意力图池化
专知
80+阅读 · 2019年11月18日
论文浅尝 | 一种用于多关系问答的可解释推理网络
开放知识图谱
18+阅读 · 2019年5月21日
医疗中的自动机器学习和可解释性
专知
24+阅读 · 2019年4月1日
论文浅尝 | TuckER:基于张量分解的知识图谱补全
开放知识图谱
34+阅读 · 2019年3月17日
关系推理:基于表示学习和语义要素
计算机研究与发展
18+阅读 · 2017年8月22日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
19+阅读 · 2013年12月31日
Arxiv
160+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
417+阅读 · 2023年3月31日
Arxiv
68+阅读 · 2023年3月26日
Arxiv
21+阅读 · 2023年3月17日
Arxiv
18+阅读 · 2021年3月16日
Recent advances in deep learning theory
Arxiv
50+阅读 · 2020年12月20日
Optimization for deep learning: theory and algorithms
Arxiv
105+阅读 · 2019年12月19日
Augmentation for small object detection
Arxiv
11+阅读 · 2019年2月19日
VIP会员
相关VIP内容
大规模语言模型增强推荐系统:分类、趋势、应用与未来
专知会员服务
28+阅读 · 2024年12月22日
事件因果关系识别综述:原理、分类法、挑战与评估
专知会员服务
37+阅读 · 2024年11月18日
检索增强生成系统中的可信度:综述
专知会员服务
38+阅读 · 2024年9月18日
生成型大型语言模型的自动事实核查:一项综述
专知会员服务
36+阅读 · 2024年7月6日
扩散模型与表示学习:综述
专知会员服务
46+阅读 · 2024年7月2日
大型语言模型在表格推理中的应用综述
专知会员服务
39+阅读 · 2024年2月14日
《大型语言模型归因》综述
专知会员服务
71+阅读 · 2023年11月8日
专知会员服务
93+阅读 · 2021年9月5日
专知会员服务
65+阅读 · 2020年9月24日
相关资讯
基于模型的强化学习综述
专知
33+阅读 · 2022年7月13日
实体关系抽取方法研究综述
专知
11+阅读 · 2020年7月19日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
【论文笔记】自注意力图池化
专知
80+阅读 · 2019年11月18日
论文浅尝 | 一种用于多关系问答的可解释推理网络
开放知识图谱
18+阅读 · 2019年5月21日
医疗中的自动机器学习和可解释性
专知
24+阅读 · 2019年4月1日
论文浅尝 | TuckER:基于张量分解的知识图谱补全
开放知识图谱
34+阅读 · 2019年3月17日
关系推理:基于表示学习和语义要素
计算机研究与发展
18+阅读 · 2017年8月22日
相关基金
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
19+阅读 · 2013年12月31日
相关论文
Arxiv
160+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
417+阅读 · 2023年3月31日
Arxiv
68+阅读 · 2023年3月26日
Arxiv
21+阅读 · 2023年3月17日
Arxiv
18+阅读 · 2021年3月16日
Recent advances in deep learning theory
Arxiv
50+阅读 · 2020年12月20日
Optimization for deep learning: theory and algorithms
Arxiv
105+阅读 · 2019年12月19日
Augmentation for small object detection
Arxiv
11+阅读 · 2019年2月19日
微信扫码咨询专知VIP会员