Large Language Models (LLMs) excel at extracting common patterns from large-scale corpora, yet they struggle with rare, low-resource, or previously unseen scenarios-such as niche hardware deployment issues or irregular IoT device behaviors-because such cases are sparsely represented in training data. Moreover, LLMs rely primarily on implicit parametric memory, which limits their ability to explicitly acquire, recall, and refine methods, causing them to behave predominantly as intuition-driven predictors rather than deliberate, method-oriented learners. Inspired by how humans learn from rare experiences, this paper proposes a human-inspired learning framework that integrates two complementary mechanisms. The first, Obvious Record, explicitly stores cause--result (or question--solution) relationships as symbolic memory, enabling persistent learning even from single or infrequent encounters. The second, Maximum-Entropy Method Discovery, prioritizes and preserves methods with high semantic dissimilarity, allowing the system to capture diverse and underrepresented strategies that are typically overlooked by next-token prediction. Verification on a benchmark of 60 semantically diverse question--solution pairs demonstrates that the proposed entropy-guided approach achieves stronger coverage of unseen questions and significantly greater internal diversity than a random baseline, confirming its effectiveness in discovering more generalizable and human-inspired methods.


翻译:大语言模型擅长从大规模语料中提取共性模式,但在处理罕见、低资源或先前未见的场景(例如小众硬件部署问题或不规则物联网设备行为)时表现欠佳,因为此类案例在训练数据中分布稀疏。此外,大语言模型主要依赖隐式参数化记忆,这限制了其显式获取、回溯与优化方法的能力,导致其行为更倾向于直觉驱动的预测器而非深思熟虑、方法导向的学习者。受人类从罕见经验中学习方式的启发,本文提出一种人类启发式学习框架,该框架整合了两种互补机制。其一为显式记录机制,将因果关系(或问题-解决方案关系)作为符号记忆显式存储,使得系统即使仅通过单次或稀疏接触也能实现持续学习。其二为最大熵方法发现机制,优先保存语义差异度高的方法,使系统能够捕获通常被下一词元预测所忽略的多样化及代表性不足的策略。在包含60对语义多样化问题-解决方案的基准测试中验证表明,所提出的熵引导方法相较于随机基线,在未见过问题的覆盖度上表现更强,且内部多样性显著更高,证实了其在发现更具泛化能力及人类启发式方法方面的有效性。

0
下载
关闭预览

相关内容

【CVPR2022】MSDN: 零样本学习的互语义蒸馏网络
专知会员服务
21+阅读 · 2022年3月8日
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员