The development of Reasoning Large Language Models (RLLMs) has significantly improved multi-step reasoning capabilities, but it has also made hallucination problems more frequent and harder to eliminate. While existing approaches mitigate hallucinations through external knowledge integration, model parameter analysis, or self-verification, they often fail to capture how hallucinations emerge and evolve across the reasoning chain. In this work, we study the causality of hallucinations under constrained knowledge domains by auditing the Chain-of-Thought (CoT) trajectory and assessing the model's cognitive confidence in potentially erroneous or biased claims. Our analysis reveals that in long-CoT settings, RLLMs can iteratively reinforce biases and errors through flawed reflective reasoning, eventually leading to hallucinated reasoning paths. Surprisingly, even direct interventions at the origin of hallucinations often fail to reverse their effects, as reasoning chains exhibit 'chain disloyalty' -- a resistance to correction and a tendency to preserve flawed logic. Furthermore, we show that existing hallucination detection methods are less reliable and interpretable than previously assumed in complex reasoning scenarios. Unlike methods such as circuit tracing that require access to model internals, our black-box auditing approach supports interpretable long-chain hallucination attribution, offering better generalizability and practical utility. Our code is available at: https://github.com/Winnie-Lian/AHa_Meta_Cognitive


翻译:推理大语言模型(RLLMs)的发展显著提升了多步推理能力,但也使幻觉问题更加频繁且难以消除。现有方法通过外部知识整合、模型参数分析或自我验证来缓解幻觉,但往往未能捕捉幻觉如何在推理链中产生和演变。本研究通过在受限知识域内审计思维链(CoT)轨迹并评估模型对潜在错误或偏见主张的认知置信度,探究幻觉的因果性。分析表明,在长思维链设置中,RLLMs可能通过有缺陷的反思性推理迭代强化偏见和错误,最终导致幻觉推理路径。令人惊讶的是,即使在幻觉源头进行直接干预也常无法逆转其影响,因为推理链表现出'链不忠诚性'——即对纠正的抵抗性和保留错误逻辑的倾向。此外,我们证明现有幻觉检测方法在复杂推理场景中的可靠性和可解释性低于先前假设。与需要访问模型内部结构的电路追踪等方法不同,我们的黑盒审计方法支持可解释的长链幻觉归因,提供更好的泛化性和实用性。代码发布于:https://github.com/Winnie-Lian/AHa_Meta_Cognitive

0
下载
关闭预览

相关内容

香港理工大學 (簡稱理大;英文:The Hong Kong Polytechnic University;縮寫:PolyU),理大是一所應用型大學,與工商界合作緊密,關注社會和國家的實際需要。

Source: 香港理工大学 - 维基百科,自由的百科全书

大型语言模型推理增强外部知识:综述
专知会员服务
35+阅读 · 6月2日
【NeurIPS2022】通过模型转换的可解释强化学习
专知会员服务
38+阅读 · 2022年10月4日
AAAI 2022 | ProtGNN:自解释图神经网络
专知会员服务
40+阅读 · 2022年2月28日
【CVPR2021】基于端到端预训练的视觉-语言表征学习
专知会员服务
38+阅读 · 2021年4月9日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关VIP内容
大型语言模型推理增强外部知识:综述
专知会员服务
35+阅读 · 6月2日
【NeurIPS2022】通过模型转换的可解释强化学习
专知会员服务
38+阅读 · 2022年10月4日
AAAI 2022 | ProtGNN:自解释图神经网络
专知会员服务
40+阅读 · 2022年2月28日
【CVPR2021】基于端到端预训练的视觉-语言表征学习
专知会员服务
38+阅读 · 2021年4月9日
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员