Can artificial intelligence discover, from raw experience and without human supervision, concepts that humans have discovered? One challenge is that human concepts themselves are fluid: conceptual boundaries can shift, split, and merge as inquiry progresses (e.g., Pluto is no longer considered a planet). To make progress, we need a definition of "concept" that is not merely a dictionary label, but a structure that can be revised, compared, and aligned across agents. We propose an algorithmic-information viewpoint that treats a concept as an information object defined only through its structural relation to an agent's total experience. The core constraint is determination: a set of parts forms a reversible consistency relation if any missing part is recoverable from the others (up to the standard logarithmic slack in Kolmogorov-style identities). This reversibility prevents "concepts" from floating free of experience and turns concept existence into a checkable structural claim. To judge whether a decomposition is natural, we define excess information, measuring the redundancy overhead introduced by splitting experience into multiple separately described parts. On top of these definitions, we formulate dialectics as an optimization dynamics: as new patches of information appear (or become contested), competing concepts bid to explain them via shorter conditional descriptions, driving systematic expansion, contraction, splitting, and merging. Finally, we formalize low-cost concept transmission and multi-agent alignment using small grounds/seeds that allow another agent to reconstruct the same concept under a shared protocol, making communication a concrete compute-bits trade-off.


翻译:人工智能能否从原始经验出发,在无需人类监督的情况下,发现人类已经发现的概念?一个挑战在于人类概念本身具有流动性:随着探究的推进,概念的边界可能发生偏移、分裂与融合(例如,冥王星不再被视为行星)。要取得进展,我们需要一个不局限于词典标签的“概念”定义,而是一种能够被修订、比较并在不同智能体间对齐的结构。我们提出一种算法信息论的视角,将概念视为一种信息对象,仅通过其与智能体整体经验的结构关系来定义。其核心约束是确定性:一组部分构成一个可逆的一致性关系,当且仅当任何缺失部分均可从其余部分恢复(在科尔莫戈洛夫式恒等式允许的标准对数松弛范围内)。这种可逆性防止“概念”脱离经验而漂浮,并将概念的存在性转化为一种可检验的结构性主张。为判断一种分解是否自然,我们定义了超额信息,用以衡量将经验拆分为多个独立描述部分时引入的冗余开销。基于这些定义,我们将辩证法形式化为一种优化动力学:随着新的信息片段出现(或变得有争议),竞争性概念通过提供更短的条件下描述来竞相解释它们,从而驱动系统性的扩展、收缩、分裂与融合。最后,我们利用小型基础/种子形式化了低成本概念传递与多智能体对齐,使得另一智能体能够在共享协议下重建同一概念,从而使通信成为一种具体的计算-比特权衡。

0
下载
关闭预览

相关内容

【ICML2025】通用智能体需要世界模型
专知会员服务
22+阅读 · 6月4日
从语言模型到语言智能体,普林斯顿Shunyu Yao
专知会员服务
63+阅读 · 2023年9月18日
Pytorch多模态框架MMF
专知
50+阅读 · 2020年6月20日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
论文浅尝 | Interaction Embeddings for Prediction and Explanation
开放知识图谱
11+阅读 · 2019年2月1日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
VIP会员
相关资讯
Pytorch多模态框架MMF
专知
50+阅读 · 2020年6月20日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
论文浅尝 | Interaction Embeddings for Prediction and Explanation
开放知识图谱
11+阅读 · 2019年2月1日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员