【ICML2024】通过代理基于的不确定性估计提高语言模型中的指令遵循性

尽管在过去十年中提出了许多知识图谱表示学习（KGRL）方法，但对它们的理论分析非常少。在本文中，我们提出了首个针对KGRL方法的PAC-Bayesian泛化界限。为了分析广泛的KGRL模型类别，我们提出了一个名为ReED（关系感知编码器-解码器）的通用框架，该框架包括一个关系感知的消息传递编码器和一个三元组分类解码器。我们的ReED框架至少可以表达15种不同的现有KGRL模型，包括基于图神经网络的模型，如R-GCN和CompGCN，以及浅层架构模型，如RotatE和ANALOGY。我们为ReED框架提供的泛化界限为KGRL中常用的技巧提供了理论基础，例如，参数共享和权重规范化方案，并指导实际KGRL方法的理想设计选择。我们通过实验证明，我们泛化界限中的关键因素可以解释实际的泛化情况。