在本教程中,我们概述了关于空间和时间语言理解及其应用的前沿研究。这包括空间和时间语义的表示、现有的数据集和标注、信息抽取模型之间的连接、基于空间和时间语言的定性推理,以及端到端深度学习模型。我们回顾了用于空间和时间语言理解的最新大规模语言模型、它们的评估以及相关的限制和挑战。我们阐明了空间和时间语言在下游应用中的作用,重点介绍了在视觉世界中导航和路径寻找代理中的语言落地应用,以及人机交互和情境对话系统。我们还回顾了关于事件时间关系和事件时间轴抽取的研究。
幻灯片内容: 第一部分. Parisa Kordjamshidi [PDF]: 简介:挑战和动机 空间标注方案 空间信息抽取 文本中的空间推理:空间问答 视觉和语言中的空间推理 下游应用:导航 第二部分. Qiang Ning [PDF]: 时间标注方案 时间信息抽取 时间推理:时间问答 下游应用:机器人路径规划 第三部分. Sien Moens [PDF]: 大规模语言模型的空间常识 将语言投射到物理坐标(空间) 将事件投射到一维时间轴(时间) 第四部分. James Pustejovsky [PDF]: 使用AMR和GLAMR进行空间推理 情境落地:人与物体的互动等 密集释义 - 数据增强、情境化、蕴涵 视觉语言动作模型 第五部分. Parisa Kordjamshidi [PDF]: 结论