大语言模型(LLMs)问世以来,研究工作主要集中在提升其指令执行演绎推理能力,而是否能够真正实现新知识的发现仍是一个悬而未决的问题。在追求通用人工智能(AGI)的过程中,人们对模型的期待已不再仅限于执行指令或检索信息,更希望其具备学习、推理通过构建新假设与理论来生成新知识的能力,从而加深我们对世界的理解。

本综述以皮尔士(Peirce)提出的“溯因(abduction)、演绎(deduction)与归纳(induction)”三段论架构为指导,提供了一个结构化视角,以审视基于 LLM 的假设发现能力。我们对当前在假设生成、应用与验证方面的研究进行了系统梳理,既总结了关键成果,也指出了尚待解决的核心问题。 通过整合这一领域的多项研究线索,我们展示了 LLM 如何有潜力从“信息执行器”转变为真正的“创新引擎”,从而为科研、科学探索以及现实问题的解决带来深远影响。

1 引言

人类智能的一个核心支柱在于发现假设与学习规则的能力,我们将这种能力称为假设发现(hypothesis discovery)规则学习(rule learning)。早期的人工智能系统在这一方面表现不佳,原因在于形式化的符号推理方法缺乏构建创造性规则所需的常识背景知识(Yu 等, 2024a)。 近年来,自然语言处理(NLP)的发展带来了预训练于大规模文本语料的大语言模型(LLMs),这些模型在内部嵌入了大量常识性知识,使其能够胜任诸如提出新假设推导新结论等需要丰富背景知识的任务。

假设发现本质上依赖于一种融合了溯因(abduction)归纳(induction)演绎(deduction)的综合推理能力。不同学者对这三者有不同定义。例如,Gilbert H. Harman 将归纳视为溯因的一种特殊情况,定义其为“对最佳解释的推理(Inference to the Best Explanation, IBE)”(Harman, 1965;Douven, 2021)。尽管这一定义易于理解,但它过于简化了假设发现的核心过程。尤其是,“最佳”解释这一概念本身就存在歧义,往往依赖于不同语境下的附加假设。此外,该框架也未能充分体现现实世界中的动态过程:我们往往不会立即得出一个“最佳”解释,而是通过持续实验、获取新观察、不断修正假设来推进认知。 基于上述考虑,本文采纳查尔斯·皮尔士(Charles Peirce)对假设发现与推理的定义。该定义认为,假设发现始于通过“溯因”提出解释性假设来解释观察现象,随后通过“演绎”反复应用这些假设以解决问题或推导新知识,最后通过“归纳”对假设进行验证(Frankfurt, 1958;Peirce, 1974;Burks, 1946;Minnameier, 2004)(详见图 2 的说明)。


本综述结构如下:

第2节介绍 LLM 支持下的假设发现所需的背景知识,包括相关的推理方式和表示方法; * 第3节回顾以往关于 LLM 推理与假设发现的综述,指出其多聚焦于演绎推理任务特定领域应用的局限性; * 第4节探讨提出假设的方法(即溯因); * 第5节介绍应用这些假设的方法(即演绎); * 第6节则重点讨论通过新观察来验证假设的技术(即归纳); * 第7节综合分析整个假设发现循环,探讨三种推理方式之间的相互依赖关系,展示如何通过溯因、演绎与归纳的迭代组合,逐步构建更稳健的假设体系。

在每一阶段,我们将讨论现有方法、数据集基准、评估机制,并指出当前存在的挑战与未来研究方向。 本综述的整体分类框架如图1所示。

成为VIP会员查看完整内容
5

相关内容

大语言模型是基于海量文本数据训练的深度学习模型。它不仅能够生成自然语言文本,还能够深入理解文本含义,处理各种自然语言任务,如文本摘要、问答、翻译等。2023年,大语言模型及其在人工智能领域的应用已成为全球科技研究的热点,其在规模上的增长尤为引人注目,参数量已从最初的十几亿跃升到如今的一万亿。参数量的提升使得模型能够更加精细地捕捉人类语言微妙之处,更加深入地理解人类语言的复杂性。在过去的一年里,大语言模型在吸纳新知识、分解复杂任务以及图文对齐等多方面都有显著提升。随着技术的不断成熟,它将不断拓展其应用范围,为人类提供更加智能化和个性化的服务,进一步改善人们的生活和生产方式。
面向统计学家的大型语言模型概述
专知会员服务
31+阅读 · 3月16日
大语言模型训练数据
专知会员服务
65+阅读 · 2024年11月22日
重新思考不确定性:大语言模型时代的关键综述与分析
专知会员服务
37+阅读 · 2024年11月20日
大规模语言模型中的知识机制:综述与展望
专知会员服务
55+阅读 · 2024年7月26日
数据与多模态大型语言模型的协同作用综述
专知会员服务
55+阅读 · 2024年7月13日
大语言模型增强知识表示学习综述
专知会员服务
67+阅读 · 2024年7月2日
知识图谱与大模型融合综述
专知会员服务
115+阅读 · 2024年6月30日
大语言模型的终身学习综述
专知会员服务
70+阅读 · 2024年6月15日
《大型语言模型持续学习》综述
专知会员服务
88+阅读 · 2024年4月26日
「基于通信的多智能体强化学习」 进展综述
数据受限条件下的多模态处理技术综述
专知
19+阅读 · 2022年7月16日
基于模型的强化学习综述
专知
38+阅读 · 2022年7月13日
清华大学《高级机器学习》课程
专知
40+阅读 · 2020年7月21日
层级强化学习概念简介
CreateAMind
18+阅读 · 2019年6月9日
基于逆强化学习的示教学习方法综述
计算机研究与发展
15+阅读 · 2019年2月25日
见微知著:语义分割中的弱监督学习
深度学习大讲堂
11+阅读 · 2017年12月6日
国家自然科学基金
41+阅读 · 2015年12月31日
国家自然科学基金
18+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Arxiv
169+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
463+阅读 · 2023年3月31日
Arxiv
76+阅读 · 2023年3月26日
Arxiv
169+阅读 · 2023年3月24日
Arxiv
24+阅读 · 2023年3月17日
VIP会员
相关VIP内容
面向统计学家的大型语言模型概述
专知会员服务
31+阅读 · 3月16日
大语言模型训练数据
专知会员服务
65+阅读 · 2024年11月22日
重新思考不确定性:大语言模型时代的关键综述与分析
专知会员服务
37+阅读 · 2024年11月20日
大规模语言模型中的知识机制:综述与展望
专知会员服务
55+阅读 · 2024年7月26日
数据与多模态大型语言模型的协同作用综述
专知会员服务
55+阅读 · 2024年7月13日
大语言模型增强知识表示学习综述
专知会员服务
67+阅读 · 2024年7月2日
知识图谱与大模型融合综述
专知会员服务
115+阅读 · 2024年6月30日
大语言模型的终身学习综述
专知会员服务
70+阅读 · 2024年6月15日
《大型语言模型持续学习》综述
专知会员服务
88+阅读 · 2024年4月26日
相关资讯
「基于通信的多智能体强化学习」 进展综述
数据受限条件下的多模态处理技术综述
专知
19+阅读 · 2022年7月16日
基于模型的强化学习综述
专知
38+阅读 · 2022年7月13日
清华大学《高级机器学习》课程
专知
40+阅读 · 2020年7月21日
层级强化学习概念简介
CreateAMind
18+阅读 · 2019年6月9日
基于逆强化学习的示教学习方法综述
计算机研究与发展
15+阅读 · 2019年2月25日
见微知著:语义分割中的弱监督学习
深度学习大讲堂
11+阅读 · 2017年12月6日
相关基金
国家自然科学基金
41+阅读 · 2015年12月31日
国家自然科学基金
18+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
微信扫码咨询专知VIP会员