【NeurIPS2025】大型语言模型中关系解码线性算子的结构

本文研究了 Hernandez 等人（2023） 所提出的、能够在 Transformer 语言模型中解码特定关系事实（relational facts）的线性算子（linear operators）的结构特征。我们将其原本针对单一关系的研究扩展至多种关系的集合，并系统性地描绘了这些线性算子的组织结构。 研究表明，这类关系解码算子集合可以通过简单的三阶张量网络（order-3 tensor networks）进行高度压缩，而几乎不损失解码精度。为解释这种出人意料的冗余性（redundancy），我们提出了一种交叉评估协议（cross-evaluation protocol）：将每个线性解码算子应用于其他关系的主语（subject），以考察它们的泛化与重叠性。 实验结果显示，这些线性映射并非分别编码了彼此独立的关系，而是提取出反复出现的、较为粗粒度的语义属性（coarse-grained semantic properties）。例如，“首都所在国家（country of capital city）”与“食物所属国家（country of food）”都属于同一类更一般的“国家归属（country-of-X）”属性。 这种以属性为中心（property-centric）的结构不仅解释了这些算子的可压缩性，也揭示了它们仅能泛化到语义上相近的新关系的原因。因此，我们的研究指出，在 Transformer 语言模型中，**线性关系解码机制主要基于属性（property-based）而非特定关系（relation-specific）**的结构原理。