【CMU博士论文】多视图上下文理解的知识增强表示学习

计算上下文理解指的是agent融合不同信息源进行决策的能力，因此，通常被认为是人工智能(AI)等复杂机器推理能力的先决条件。数据驱动和知识驱动方法是追求这种机器意义生成能力的两种经典技术。然而，虽然数据驱动的方法试图通过在现实世界中的观察来模拟事件的统计规律，但它们仍然难以解释，而且缺乏自然地结合外部知识的机制。相反，知识驱动的方法结合了结构化的知识库，使基于公理原则的符号推理成为可能，并产生更多可解释的预测; 然而，它们往往缺乏估计推断的统计显著性或鲁棒地适应输入中的扰动的能力。为了解决这些问题，我们使用混合AI方法作为综合两种方法的优势的一般框架。具体而言，我们继承了神经符号的概念，将其作为一种使用领域知识来指导深度神经网络学习进程的方法。领域知识以多种形式出现，包括:(i) 图模型，它描述了实体之间的关系，如依赖、独立、因果、相关和部分相关; (ii) 常识性知识，包括空间知识、物体的物理属性、语义关系和功能知识; 专家智能体以演示或软标签的形式提供特权信息; (iv) 习得的行为原语和先验，这些行为原语和先验可能构成可推广和可转移的任务执行;以及(v)辅助任务、目标和约束条件——为约束优化精心选择。

无论可用的领域知识类型是什么，相同的实际目标仍然是:学习有意义的神经表征，用于下游感兴趣的任务。神经表征学习的潜在目标是在统计上识别agent输入数据或观察中变化的最佳解释因素，通常需要对输入中多种模式或观点之间的互补性的直觉。虽然已经有很多关注于学习特定任务的有效神经表征，然后将学习到的表征转移或适应其他任务，相对较少的重点放在有各种类型的领域知识的表征学习。这些知识可用于恢复潜在生成过程的信息，设计学习问题的有效建模策略，确保模型的可转移性或泛化性，或理解视图之间的互补性。本文研究了将上述类型的领域知识与神经表示相结合的方法，以提高以下问题领域的模型性能和通用性:神经常识推理、多模态机器人导航和自动驾驶。本文提供了一系列工具、方法、任务、国际AI挑战和排行榜、数据集和知识图;此外，这项工作还成功组织了两场关于自动驾驶安全学习的国际研讨会。