【俄亥俄州立大学学生论文】鲁棒自然语言理解，74页pdf，Towards More Robust Natural Language Understanding

自然语言理解(NLU)是自然语言处理(NLP)的一个分支，它使用智能计算机软件来理解编码人类知识的文本。近年来，深度学习技术在各种NLU任务中取得了显著进展，特别是在预训练语言模型方面。除了提出更先进的模型架构外，构建更可靠和值得信赖的数据集也在NLU系统的改进中发挥着巨大的作用，没有这些数据集，就不可能训练出一个像样的NLU模型。值得注意的是，人类理解自然语言的能力是灵活和强大的。相反，大多数现有的NLU系统无法在域外数据上实现理想的性能，或者难以处理现实世界中具有挑战性的项目(例如，固有模糊的项目，敌对的项目)。因此，为了让NLU模型更有效地理解人类语言，预计将优先研究鲁棒自然语言理解。在本论文中，我们认为NLU系统由两部分组成: NLU模型和NLU数据集。因此，我们认为，要实现稳健的NLU，模型架构/训练和数据集是同等重要的。具体来说，我们将关注三个NLU任务，以说明不同NLU任务中的鲁棒性问题，以及我们在帮助实现更鲁棒的自然语言理解方面的贡献(即，新模型和新数据集)。展望未来，稳健的自然语言理解的最终目标是构建具有人类行为的NLU模型。也就是说，我们期望稳健的NLU系统能够更可靠地将知识从训练语料库转移到不可见的文档中，并且在遇到有挑战性的项目时能够生存下来，即使系统不知道用户输入的先验信息。