【CMU博士论文】功能组件作为神经模型可解释性的范式

尽管神经模型的广泛应用，训练后的神经模型依然是一个具有挑战性的可解释性课题，神经网络研究人员采用的许多知识和技能，可能被认为是深奥且晦涩的，旨在理解模型学到了什么，以及模型的内部工作如何改变其学习结果。理解这些模型学到了什么是至关重要的领域，因为越来越多的生产系统依赖神经模型来提供越来越多的高影响力应用。本研究提出了一种可解释性方法论，基于一种神经模型设计理念，重新定义了这些模型分析单元的范畴，从单个神经元扩展到一组互联的功能组件，我们称之为“神经路径”。这些功能组件是架构、数据和训练方案的结果，具有跨越结构边界的能力。这使得通过增强透明度，能够实现基于功能的、以人为中心的模型理解，从而促进模型与研究人员之间的对话。在本论文的研究过程中，我们在文献中做出了四个方面的贡献：首先，我们提供了一种神经模型可解释性的方法，针对子任务级别进行了严格验证，验证通过了一系列合成数据集；第二，我们通过提供一个框架，将学习到的功能组件与因果结构对齐，从而扩展了这一方法。这使得神经模型学习的功能与理论因果结构进行比较成为可能，进而快速验证我们对神经模型如何处理任务的理解；第三，我们扩展了该方法，能够比较和对齐不同架构或训练程序下的模型功能组件；最后，我们展示了神经路径方法在多个教育技术领域的应用能力。包括通过修辞结构分析提供自动化作文反馈、通过传递性检测进行小组形成以及自动化作文评分。最后一个贡献可以进一步细分为三个方面，按领域和重点分开。首先，神经路径被用来支撑神经话语解析器，使其能够更容易地推广到学生写作；接下来，我们展示了神经路径可以作为一种错误分析方法，探索在不同领域训练的模型在检测传递性上的表现差异；最后，我们展示了通过对AI写作检测器的微调，追踪问题路径变化的能力。由于神经路径方法的广泛适用性，我们乐观地认为该方法能够对神经模型的设计和开发产生广泛影响，我们的目标是提供一项具有扩展潜力的基础性工作，能够远远超出本论文的范围。