大语言模型(LLMs)在各类自然语言任务中取得了显著的成功。然而,近期研究发现,LLMs 在逻辑推理能力上仍面临着一些显著的挑战。本文总结并将这些挑战分类为两个方面:(1)逻辑问答,LLMs 常常无法在复杂的逻辑问题中生成正确答案,这类问题需要根据一组前提和约束进行复杂的推理,包括演绎推理、归纳推理或溯因推理;(2)逻辑一致性,LLMs 容易在不同问题中生成自相矛盾的回答。例如,一个最先进的 Macaw 问答型 LLM 对问题“喜鹊是鸟吗?”和“鸟有翅膀吗?”的回答均为“是”,但对问题“喜鹊有翅膀吗?”的回答却为“否”。为了促进这一研究方向的发展,我们全面调查了当前最前沿的方法,并提出了这些方法的详细分类。具体而言,为了准确回答复杂的逻辑问题,现有方法可以根据是否依赖外部求解器、提示(prompt)、预训练以及微调进行分类。为了避免逻辑矛盾,我们讨论了多种逻辑一致性的概念和解决方案,包括蕴涵、否定、传递性、事实一致性及其组合。此外,我们还回顾了常用的基准数据集和评估指标,并讨论了有前景的研究方向,如扩展模态逻辑以应对不确定性,以及满足多个逻辑一致性的高效算法。

成为VIP会员查看完整内容
1

相关内容

大语言模型是基于海量文本数据训练的深度学习模型。它不仅能够生成自然语言文本,还能够深入理解文本含义,处理各种自然语言任务,如文本摘要、问答、翻译等。2023年,大语言模型及其在人工智能领域的应用已成为全球科技研究的热点,其在规模上的增长尤为引人注目,参数量已从最初的十几亿跃升到如今的一万亿。参数量的提升使得模型能够更加精细地捕捉人类语言微妙之处,更加深入地理解人类语言的复杂性。在过去的一年里,大语言模型在吸纳新知识、分解复杂任务以及图文对齐等多方面都有显著提升。随着技术的不断成熟,它将不断拓展其应用范围,为人类提供更加智能化和个性化的服务,进一步改善人们的生活和生产方式。
大语言模型中的逻辑推理:综述
专知会员服务
34+阅读 · 2月15日
博弈论与大语言模型的结合:系统性综述
专知会员服务
34+阅读 · 2月14日
大型概念模型:在句子表示空间中的语言建模
专知会员服务
18+阅读 · 2024年12月14日
大型语言模型遇上自然语言处理:综述
专知会员服务
37+阅读 · 2024年5月23日
多语言大型语言模型:资源、分类和前沿综述
专知会员服务
49+阅读 · 2024年4月9日
大型语言模型的模型压缩与高效推理:综述
专知会员服务
84+阅读 · 2024年2月17日
《大型语言模型归因》综述
专知会员服务
71+阅读 · 2023年11月8日
专知会员服务
21+阅读 · 2021年4月15日
基于模型的强化学习综述
专知
34+阅读 · 2022年7月13日
【CVPR 2020 Oral】小样本类增量学习
专知
17+阅读 · 2020年6月26日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
语义分割中的深度学习方法全解:从FCN、SegNet到DeepLab
炼数成金订阅号
26+阅读 · 2017年7月10日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
国家自然科学基金
41+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Arxiv
165+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
431+阅读 · 2023年3月31日
Arxiv
73+阅读 · 2023年3月26日
Arxiv
157+阅读 · 2023年3月24日
Arxiv
22+阅读 · 2023年3月17日
VIP会员
相关VIP内容
大语言模型中的逻辑推理:综述
专知会员服务
34+阅读 · 2月15日
博弈论与大语言模型的结合:系统性综述
专知会员服务
34+阅读 · 2月14日
大型概念模型:在句子表示空间中的语言建模
专知会员服务
18+阅读 · 2024年12月14日
大型语言模型遇上自然语言处理:综述
专知会员服务
37+阅读 · 2024年5月23日
多语言大型语言模型:资源、分类和前沿综述
专知会员服务
49+阅读 · 2024年4月9日
大型语言模型的模型压缩与高效推理:综述
专知会员服务
84+阅读 · 2024年2月17日
《大型语言模型归因》综述
专知会员服务
71+阅读 · 2023年11月8日
专知会员服务
21+阅读 · 2021年4月15日
相关资讯
基于模型的强化学习综述
专知
34+阅读 · 2022年7月13日
【CVPR 2020 Oral】小样本类增量学习
专知
17+阅读 · 2020年6月26日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
语义分割中的深度学习方法全解:从FCN、SegNet到DeepLab
炼数成金订阅号
26+阅读 · 2017年7月10日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
相关基金
国家自然科学基金
41+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
微信扫码咨询专知VIP会员