【博士论文】神经语言模型：上下文语境中语言理解与产出的研究

本论文探索了使用人工神经网络作为人类语言使用模型的新方法，目的是为各种语言科学家建立新方法并启动新的研究方向：从历史语言学家、社会语言学家和词典编纂者到认知科学家和神经科学家。它包含了一系列关于语言理解和语言产出的研究，强调在适当考虑语言语境时，它们的建模是如何受到影响的。论文分为三个部分。

第一部分介绍了两种研究单词使用方式的新方法，这些方式是根据单词在句子中出现的语境：第一种方法包括从语言模型中提取、分组及分析语境化的神经表示；第二种方法使用语言模型生成的人类可读单词定义，这些定义是根据单词使用示例提示生成的。以词汇语义变化分析为例应用，因为它需要动态捕捉单词意义及其细微的语境决定的调整。 第二部分专注于作为语境感知模拟的神经模型语言理解者。我从神经语言模型获得信息率的惊奇估计，并使用这些来测试话语产出的心理语言学理论，这些理论假设说话者监控信息率，进而监控理解成本。研究结果挑战了合理使用通信渠道的既定假设，特别是在对话环境中——但总的来说，它们确认话语产出策略可以描述为有效地包含对话者的理解努力。 第三部分探讨了神经文本生成器作为语言产出模型的潜力。我测试了生成器产生的语言是否具有与人类产出相一致的统计特性，然后使用它们获得信息率的可解释度量，这些度量与第二部分使用的度量互补。我总结了论文其他部分的见解，形成了一个关于人类式——高效、交流有效且有观众意识——语言产出行为的人工模拟的正式框架。