【牛津大学博士论文】构建具有一致性预测的可信语言模型

基于 Transformer 的预训练语言模型（Pre-trained Language Models, PLMs）借助海量自然语言文本进行训练，极大地推动了自然语言处理（Natural Language Processing, NLP）领域的迅猛发展。这些模型已被广泛应用于各种下游任务中，并通过微调（fine-tuning）或小样本学习（few-shot learning）等方式展现出优异性能，在若干任务中甚至超越了人类水平。

由于这些显著的实验成果，业界逐渐形成一种普遍观点，认为 PLMs 拥有广泛的世界知识，并具备理解自然语言的能力。然而，已有大量研究指出，PLMs 在自然语言理解方面仍存在内在缺陷。多项实验证明，PLMs 在处理否定表达、数值相关知识等方面存在明显不足。同时，也有研究发现，PLMs 可能展现出逻辑上错误的行为，与人类的推理过程显著偏离。这些不可靠行为引发了广泛关注，严重影响了模型的可信度，进而限制其在高风险领域（如医疗、金融、法律等）的应用。

在此背景下，本文聚焦于从“一致性”角度提升语言模型（Language Models, LMs）的可信度。尽管已有研究尝试探索 LMs 的一致性行为，并致力于构建更具一致性的增强模型，但这些工作仍存在关键性不足：

首先，不同研究对“一致性”的定义各不相同，导致当前研究碎片化，缺乏统一和全面的评估体系。定义的不一致也使得已有缓解方法仅能覆盖某一类一致性问题，而无法泛化到其他一致性类型。

其次，提升一致性行为的方法普遍依赖大量资源。例如，最常见的技术为数据增强（Data Augmentation），即收集符合某一特定一致性类型的额外数据；或一致性正则化（Consistency Regularisation），即引入额外损失函数对模型的不一致行为进行惩罚。虽然某些一致性类型可通过自动化手段收集（如利用对称性属性），但大多数策略仍需大量语言资源或人工干预，以保证数据质量，从而使其在低资源语言或资源受限研究者中难以实现。此外，额外的数据增强与正则化训练目标也显著增加了模型参数更新时的计算成本，尤其是在当代大模型参数规模急剧增长的背景下（如 GPT-4），这一问题更为突出。

为解决上述问题，本文提出了以下三方面改进：

统一定义与分类体系：首先，我们基于“行为一致性”（behavioural consistency）的概念，提出了一套系统化的一致性定义与分类方法，将现有研究中涉及的一致性类型划分为三个互斥类别，构建出统一的研究框架。

基准数据集构建：其次，本文构建了一个统一的基准数据集，用于在多种下游任务中评估不同类型的一致性行为，旨在实现全面、系统的性能评估。

高效可行的一致性增强方法：最后，我们提出了一种高效、实用的一致性增强方法。该方法通过学习词典数据中的“概念角色”（conceptual roles），帮助模型精准理解语言意义，并将这一增强后的表示与现有语言模型进行融合。该融合通过参数整合方式实现，在保持极低计算资源需求的前提下，有效提升模型能力。

大量实验证据表明，本文工作有以下两项重要发现：

不论模型的大小、架构或训练目标如何，当前主流语言模型在多个测试场景中都存在明显的不一致行为，未有任何模型在所有一致性类型与下游任务中都保持一致性；

与现有方法相比，本文提出的策略能同时提升多种一致性类型的表现，这一能力是以往方法所不具备的。同时，该方法在计算资源使用上更为节省，且适用于非英语的低资源语言环境。