重磅！40+位学者发布《知识增强机器学习在自动驾驶中的应用》,93页pdf885篇文献全面阐述自动驾驶知识表示、嵌入、提取和整合

最新《知识增强机器学习在自动驾驶中的应用》非常值得关注!

合适的数据集是许多成功的人工智能和机器学习模型的先决条件。然而，这些模型的后续应用通常涉及到训练数据中没有充分表达应用场景。原因是多方面的，从时间和成本的限制到伦理考虑。因此，这些模型的可靠使用，特别是在安全关键应用中，是一个巨大的挑战。利用额外的、已经存在的知识来源是克服纯数据驱动方法的局限性的关键，并最终提高这些模型的泛化能力。此外，即使在数据集不足的情况下，与知识相符的预测对于做出可靠和安全的决定也是至关重要的。这项工作提供了现有技术和方法在文献中结合基于数据的模型与现有知识的概述。根据类别的嵌入、提取和整合对识别出的方法进行结构化。特别关注自动驾驶领域的应用。

https://www.zhuanzhi.ai/paper/4f34bc805d3ecc878ef9dece3cff81c3

引言

数据驱动学习，首先是深度学习，已经成为当前绝大多数人工智能(AI)和机器学习(ML)应用的关键范式。许多以监督方式学习的模型的出色性能主要归因于大量标记数据的可用性。突出的例子是图像分类和目标检测，顺序数据处理以及决策。缺点是，这种前所未有的性能是以缺乏可解释性和透明度为代价的，这导致了所谓的黑匣子模型无法进行简单而直接的人工检查。因此，将数据驱动的方法传输到安全关键的应用成为一个主要的挑战。通常，在这些情况下，由于高昂的获取成本或道德原因，标签数据是稀缺的。此外，开发人员和用户都假定需要能够理解部署模型所做的决策。为了解决这两个问题，以物理基本定律、事实的逻辑数据库、特定场景下的共同行为或简单的反事实样例等形式来利用知识资源，是改进纯数据化模型的关键，这些模型可以增强对扰动的鲁棒性，更好地对不可见样本进行泛化。并符合安全可靠行为的现有原则。

本综述提供了一组不同的方法，这些方法适用于用知识增强数据驱动模型，从给定模型中提取信息概念和模式，并将观察到的输出和表示与现有的基本假设和对安全、可靠和直观行为的共同理解进行比较。最后，本文对知识和数据集成的概述将为可靠的ML方法铺平道路，这些方法可以在关键应用中安全地使用。本综述的结构如下。在接下来的第二章中，我们将介绍自主智能体在与环境交互时遇到的三个主要任务。第3章讨论了如何从不同的角度表示知识并使其具有机器可读性，随后，第4章讨论了适合将知识与数据驱动方法结合的不同通用方法，以及针对自动驾驶用例的更具体的方法。第五章进一步介绍了知识迁移背景下的学习范式。

除了知识的整合，目前的方法集中于概念和结构的提取在后面的章节中进行了概述。第6章总结了提供符号化、部分自然语言解释的方法，第7章强调了允许对决策过程进行视觉化的程序。我们将在第8章总结我们的综述，并概述考虑与已经存在的以及新发现的知识组件的一致性的技术，这些技术最终完成了知识增强人工智能的流程。

用例概述

自动驾驶的任务可以细分为以下几类:感知、情境解读、计划和控制[306]。自动驾驶的首要任务是理解和感知车辆周围的环境。第2.1节介绍感知模块，特别关注基于图像的行人检测。一旦目标被检测和分割，自动驾驶的第二个任务就是随着道路使用者了解环境。为了进行安全的机动，情况解释是一个决定性的步骤。在本模块中，目标是回答与对象的状态和操作相关的重要问题，如对象下一步可以做什么。概述见第2.2节。在确定了这些情景场景后，自动驾驶的下一个任务就是规划自动驾驶的运动。2.3节中描述的规划模块利用前两个模块的输出，并进行高层次的路由和轨迹规划决策。

知识表示

符号和连接方法代表了人工智能谱系的两端。前者更多是由知识驱动，后者则是由数据驱动。在文献中可以发现大量正在进行的研究，以开发利用彼此优势的混合人工智能系统。然而，在符号空间中整合或增强数据驱动的次符号/统计世界的知识表示仍然存在一个核心挑战。第3.1节概述了以事实、规则和结构化信息形式存在的象征知识的形式化和语言。此外，在第3.2节中对知识嵌入进行了概述，重点是将先验知识从符号空间转化为实向量空间，即嵌入。这些嵌入可以用于改进子符号方法(神经网络(NN)，深度学习(DL))，以进行有效的训练和推理。此外，在第3.2.3节讨论了硬规则和软规则的注入以及嵌入的方法。本章中处理不同机制表示知识的每一节都以更适合自动驾驶领域的展望来结束。将感知到的信息映射到语义概念，并使用符号模型进行推理，可以提高对驾驶情况的理解。此外，使用形式化的交通规则和法律概念来推导以其法律后果为条件的可能驾驶行为。

知识嵌入

文献中已经提出了大量的方法，这些方法专注于用额外的先验知识增强数据驱动模型和算法。其中最突出的方法是通过定制的代价函数修改训练目标，特别是知识影响的约束和惩罚。第4.1节概述了考虑各种特性的物理和领域知识的辅助损耗和约束。通常，这些方法伴随着特定问题的架构设计，导致以逻辑表达式或知识图谱的形式利用符号知识的混合模型。符号和数据方法的合并，也称为神经-符号整合是第4.2节的重点。除了外部输入，最近的方法更好地依赖于内部表示，以便将注意力集中在网络本身的不同特征和概念上。第4.3节讨论了关键权重和指导方法。最后但并非最不重要的是，数据增强技术形成了骨干，将额外的领域知识集成到数据中，从而间接地集成到模型中。第4.4节讨论了从数据转换到特征空间增强到模拟的方法。除了这些流行的通用方法，本章还总结了更适合自动驾驶领域的方法和范式，考虑到多个智能体与所研究的应用程序的特定环境进行交互。特别是在4.5节的状态空间模型和4.6节的强化学习中，推理和预测agent的状态起着至关重要的作用。位置信息和语义信息的参与是4.7节中概述的信息融合方法的重要组成部分。

知识迁移

在前一章中，知识集成主要是通过适当的建模方法来解决的，例如，修改体系结构和代价函数设计。本章从更多的算法角度来研究这项任务，从而得出能够将隐性知识(通常由神经网络的权值或表示法捕获和表示)转移到感兴趣的目标领域的学习策略。这里的主要目标之一是在只从目标领域提供少量数据的情况下学习可靠的模型。预训练的网络的选定层的微调可归因于迁移学习，如第5.1节所示。这个概念关注的是对单一目标任务的适应，而在持续学习中，目标是稳定地适应各种连续的目标，而不忘记之前的任务。概述见第5.2节。在元学习中也有类似的想法，即在一个情景训练过程中收集来自多个任务的经验，以改进关于即将到来的任务的学习策略。第5.3节对该主题进行了介绍。最后，从数据的目的性选择和重新标注的角度考虑知识转移。这种主动学习策略的当前范例见第5.4节。

知识提取-符号解释

对数据驱动模型的功能进行解释是通向可信系统的必要前提。对学习到的决策模式和概念的提取和考虑不仅促进了功能的最终验证，而且在开发用于安全关键应用的方法方面也同样有用。符号解释在其中起着重要的作用，近年来得到了广泛的研究。为了以更正式的方式检查神经网络的功能，规则学习已经成为这一背景下最突出的方法之一。第6.1节介绍的方法包括从关注神经元内部结构和相互作用的方法到尝试以人类可理解的方式建模输入输出关系的方法。后者还与输入数据的规则提取和模式挖掘有关。自然语言作为超越规则的另一种符号表现形式，将在接下来的两节中讨论。从法律领域的规则和规范中提取知识是章节6.3的重点，而自然语言作为对视觉刺激的伴随解释是视觉问题回答的目标，章节6.4将介绍。

知识提取-视觉解释

视觉化是一种以令人印象深刻的形式表示抽象和复杂知识的好方法。因此，它也可以作为一个有效的工具来演示从机器学习模型中提取的知识。与文本、公式或其他符号解释不同，视觉化可以为人类提供一些复杂信息的直观印象。视觉化可以激发更好的理解，甚至是算法的改进。许多研究都集中在机器学习模型的视觉解释上。其中一种被称为视觉分析，旨在利用人类的视觉系统和人类知识来识别或假设通常隐藏在大型数据集中的模式。视觉分析的不同方法将在第7.1节中讨论。第7.2节中的显著图方法强调了如何在计算机视觉任务的输入图像上生成热图。在7.3节中，可解释特征学习演示了视觉化结果如何被用来生成特别的解释或数字证据。这些视觉化解释提供了语义级的知识提取方法，具有更好的可解释性。

知识整合

**自动驾驶汽车是安全关键系统，这意味着它们的故障可能会带来严重的后果，例如，当行人被检测系统忽略时。因此，我们必须确保它们安全可靠地运行。特别是，它们应该符合现有的安全原则和知识。其中一个原则是识别和处理不确定性，即可能导致系统以不可预测的方式运行的因素。我们在第8.1节中概述了估计和评估不确定性的现有概念和方法。另一个原则是可解释性，也就是说，理想情况下人类应该能够理解为什么一个系统会做出特定的决定。为了改善这一点，DL系统的决策过程应该与以因果推理为核心组成部分的人类决策更加一致。因此，我们将在第8.2节讨论将因果推理注入DL系统的方法。另一个方面是与现有的关于自动驾驶汽车环境的知识的一致性。特别是，环境受某些规则约束，例如交通规则、物理法律或人类常识，第8.3节讨论了关于规则整合的概念和方法。