【EMNLP2023教程】设计、评估以及从人类与NLP模型的互动中学习

自然语言处理（NLP）研究的快速进步导致了各种应用在广泛领域的出现，这些应用需要模型与人类互动——例如，聊天机器人回应人类查询，机器翻译系统协助人类翻译家，设计师使用大型语言模型进行共创或原型设计AI集成应用等。在这些情况下，人类互动是NLP应用成功的关键；任何潜在的误解或差异可能导致后续阶段的错误级联。这种互动涉及许多围绕模型的设计选择，例如界面的敏感性，设计选择和评估问题的影响等。本教程旨在提供关于研究人类与NLP模型互动的关键考虑因素和有效方法的系统性和最新的概览。我们的教程将特别关注最终用户——普通人和领域专家，他们可以使用NLP模型，但对NLP技术不太熟悉——使用或与部署的模型合作的场景。在整个教程中，我们将使用五个案例研究（关于分类器辅助决策制定、机器辅助翻译、对话系统和提示）来涵盖三个主要主题：（1）如何进行人在循环中的可用性评估以确保模型能够与人类互动；（2）如何设计用户界面（UI）和交互机制，以便最终用户轻松访问NLP模型；（3）如何通过人类互动学习和改进NLP模型。我们将使用人机交互（HCI）的最佳实践来支持我们的讨论，并将强调当前的挑战和未来的发展方向。