Berkeley博士论文《反馈系统中的可信机器学习》203页pdf

【摘 要】

机器学习是一种很有前途的处理复杂信息的工具，但它仍然是一个不可靠不可信的控制和决策工具。将为静态数据集开发的技术应用到现实世界的问题中，需要克服反馈和系统随时间变化的影响。在这些设置中，经典的统计和算法保证并不总是有效。在部署机器学习系统之前，我们如何预测机器学习系统的动态行为?为了确保可靠可信的行为，本论文采取步骤来发展对反馈设置中出现的权衡和限制的理解。

在第一部分，我们关注机器学习在自动反馈控制中的应用。受物理自治系统的启发，我们试图为数据驱动的最优控制器设计建立理论基础。我们关注的是由线性动力学控制的系统，其未知组件必须从数据中表征出来。研究了经典最优控制问题线性二次调节器(LQR)设定中的未知动力学问题，证明了最小二乘估计和鲁棒控制设计过程保证了安全性和有界次最优性。在机器人技术中使用摄像机的启发下，我们还研究了控制器必须根据复杂的观察来行动的设置，其中状态的子集由未知的非线性和潜在的高维传感器进行编码。我们提出使用一种感知映射作为近似逆，并表明只要a)控制器是鲁棒设计来解释感知误差或b)感知映射是从足够密集的数据中学习到的，由此产生的感知控制环具有良好的特性。

在第二部分，我们将注意力转移到算法决策系统，其中机器学习模型用于与人反馈。由于测量的困难、有限的可预测性以及将人类价值转化为数学目标的不确定性，我们避开了最优控制的框架。相反，我们的目标是在一步反馈模型下阐明简单决策规则的影响。我们首先考虑相应的决策，这是受信用评分中放贷的例子启发。在一个简单的影响模型下，我们表明，几个群体公平约束，提出减轻不平等，可能损害群体，他们的目标是保护。事实上，公平标准可以被视为一个更广泛框架的特殊案例，用于设计在私人和公共目标之间权衡的决策政策，其中影响和福祉的概念可以直接编码。最后，我们转向推荐系统的设置，该系统根据个性化的相关性预测从广泛的选择中进行选择。我们开发了一个基于可达性的新视角，量化了代理和访问。虽然经验审计表明，为准确性而优化的模型可能会限制可达性，但理论结果表明，这不是由于固有的权衡，这表明了一条前进的道路。从广义上讲，这项工作试图重新想象机器学习中普遍存在的预测模型的目标，朝着优先考虑人类价值的新设计原则前进。

1 引 言

许多现代数字系统——从汽车到社交媒体平台——都具有前所未有的测量、存储和处理数据的能力。机器学习的并行进展推动了从这些数据中受益的潜力，其中巨大的数据集和强大的计算能力推动了图像识别和机器翻译等复杂任务的进步。然而，许多应用程序超出了处理复杂信息的范围，而是基于它采取行动——从分类和转变为做出决策和采取行动。将针对静态数据集开发的技术应用于现实世界的问题需要处理随时间变化的反馈和系统的影响。在这些设置中，经典的统计和算法保证并不总是成立。即使是严格评估性能也可能很困难。在部署机器学习系统之前，我们如何预测它们的行为？我们可以设计它们以确保良好的结果吗？基本的限制和权衡是什么？

在本论文中，我们为各种动态设置开发了原则性技术，以实现可信机器学习的愿景。这项工作借鉴了控制理论中的工具和概念，控制理论在制定动态系统行为的保证方面有着悠久的历史，优化提供了一种语言来表达目标和权衡，当然还有机器学习，它使用数据来理解和作用于世界。机器学习模型旨在做出准确的预测，无论是关于自动驾驶汽车的轨迹、偿还贷款的可能性，还是对新闻文章的参与程度。传统上，在静态监督学习的框架中，这些模型一旦被用于采取影响环境的行动，就会成为动态系统的一部分（图 1）。无论上下文是驾驶自动驾驶汽车、批准贷款还是推荐内容，将学习到的模型整合到策略中都会产生反馈循环。

图1 尽管机器学习模型通常在大脑中以一个静态的监督学习框架进行训练(左)，但当部署时，它们成为反馈循环的一部分(右)。

在动态环境中使用静态模型存在一些问题。无论是由于分布偏移、部分可观察性还是错误累积，它们的预测能力都可能在反馈设置中失败。监督学习通常旨在保证良好的平均情况性能，但平均工作良好的车道检测器仍可能对特定图像进行错误分类并导致崩溃。此外，用于进行准确预测的统计相关性实际上可能包含我们希望避免传播的偏差或其他有害模式。在贷款决定中考虑申请人的邮政编码可能在统计上是最优的，但会导致红线的做法。推荐内容令人反感的视频可能会增加参与度，但会损害观看者的心理健康。应对这些挑战需要仔细考虑如何使用机器学习模型，并设计确保理想结果和对错误具有鲁棒性的策略。

在接下来的章节中，大致分为两部分：数据驱动的最优控制和社交数字系统中的反馈。在第一部分中，我们展示了如何结合机器学习和鲁棒控制来设计具有非渐近性能和安全保证的数据驱动策略。第 2 章回顾了一个框架，该框架能够对具有不确定动态和测量误差的系统进行策略分析和综合。在第 3 章中，我们考虑了具有未知动力学的线性系统的设置，并研究了具有安全约束的经典最优控制问题的样本复杂度。在第 4 章中，我们转而关注复杂传感模式带来的挑战，并为基于感知的控制提供保证。在第二部分中，从物理系统的动力学转向对社会系统的影响，我们考虑学习与人互动的算法。在第 5 章中，我们描述了后续决策中公平和幸福之间的关系。我们将在第 6 章重点介绍内容推荐的设置，并开发一种在交互系统中表征用户代理的方法。在本章的其余部分中，我们将介绍和激发后续章节的设置。

1.1 数据驱动的最优控制

在视频游戏和围棋中超越了人类的表现后，人们对将机器学习技术应用于规划和控制重新产生了兴趣。特别是，在开发自主系统与物理环境交互的连续控制新技术方面已经付出了相当大的努力。尽管在操纵等领域取得了一些令人印象深刻的成果，但近年来，由于自动车辆控制系统的故障。处理学习模型产生的错误不同于传统的过程和测量噪声概念。我们如何确保我们新的数据驱动自动化系统安全可信？

在本文的第一部分，我们试图通过分析简单的最优控制问题，为机器学习如何与控制接口建立理论理解的基础。我们开发了基线来描述给定从具有未知组件的系统收集的固定数量的数据可实现的可能控制性能。标准最优控制问题旨在找到使给定成本最小化的控制序列。我们假设一个状态为的动力系统可以被一个控制作用并服从动力学：

其中是过程噪声。允许控制动作取决于系统状态的观测值，这可能是部分的和不完善的：，其中是测量噪声。然后最优控制力求最小化：

这里，表示依赖于轨迹的成本函数，输入允许依赖于所有先前的测量和动作。一般来说，问题（1.1.2）包含了强化学习文献中考虑的许多问题。这也是一个一般难以解决的问题，但对于受限设置，控制理论中的经典方法在动力学和测量模型已知的情况下提供易于处理的解决方案。

当它的组成部分未知并且必须从数据中估计时，我们会研究这个问题。即使在线性动力学的情况下，推理机器学习错误对不确定系统演化的影响也是具有挑战性的。第 2 章介绍了对我们的研究至关重要的线性系统和控制器的背景。它概述了系统级综合，这是一个最近开发的优化控制框架，使我们能够以透明和易于分析的方式处理不确定性。

在第 3 章中，我们研究了当系统动力学未知且状态可以准确观察时，机器学习如何与控制交互。我们分析了经典最优控制中研究最充分的问题之一，即线性二次调节器 (LQR)。在这种情况下，要控制的系统服从线性动力学，我们希望最小化系统状态和控制动作的一些二次函数。我们通过考虑状态和输入都满足线性约束的附加要求来进一步研究与安全性的权衡。这个问题已经被研究了几十年并得到控制。无约束版本在无限时间范围内具有简单的封闭形式解决方案，在有限时间范围内具有高效的动态规划解决方案。约束版本在模型预测控制 (MPC) 社区中受到了广泛关注。通过将线性回归与稳健控制相结合，我们限制了保证安全性和性能所需的样本数量。

在第 4 章中，我们转向一个受以下事实启发的设置：结合丰富的感知传感模式（例如相机）仍然是控制复杂自主系统的主要挑战。我们专注于实际场景，其中系统的基本动力学得到了很好的理解，并且与复杂传感器的交互是限制因素。具体来说，我们考虑控制一个已知的线性动态系统，其部分状态信息只能从非线性和潜在的高维观测中提取。我们的方法是通过学习感知图来设计虚拟传感器，即从复杂观察到状态子集的地图。表明感知图中的错误不会累积并导致不稳定需要比机器学习中的典型情况更强的泛化保证。我们表明，鲁棒控制或足够密集的数据可以保证这种基于视觉的控制系统的闭环稳定性和性能。

1.2 社交数字系统中的反馈

从信用评分到视频推荐，许多与人交互的机器学习系统都有时间反馈组件，随着时间的推移重塑人口。例如，借贷行为可以改变人口中债务和财富的分布。招聘广告分配机会。视频推荐塑造兴趣。在这些情况下使用的机器学习算法大多经过训练以优化单个性能指标。此类算法做出的决定可能会产生意想不到的负面影响：利润最大化贷款可能会对借款人产生不利影响，而假新闻可能会破坏民主制度。

然而，很难围绕种群和算法之间的动态交互进行明确的建模或规划。与物理系统不同，存在测量困难、可预测性有限以及将人类价值转化为数学目标的不确定性。动作通常是离散的：接受或拒绝，选择要推荐的特定内容。我们的目标是开发一个框架来阐明简单决策规则的影响，而不是试图设计一种策略来优化受不正确动态模型影响的可疑目标。因此，我们研究了在不使用最佳控制的完整框架的情况下量化和纳入影响因素的方法。这项工作试图重新构想机器学习中普遍存在的预测模型的目标，朝着优先考虑人类价值的新设计原则迈进。

第 5 章侧重于相应的决策。从医疗诊断和刑事司法到金融贷款和人道主义援助，后续决策越来越依赖数据驱动的算法。现有的关于自动决策公平性的学术批评无限制的机器学习有可能伤害人口中历史上代表性不足或弱势群体。因此，已经提出了各种公平标准作为对标准学习目标的约束。尽管这些限制显然旨在通过诉诸直觉来保护弱势群体，但通常缺乏对此效果的严格论证。在第 5 章中，我们通过描述群体公平标准的延迟影响来将其置于语境中。通过以幸福的时间衡量来构建问题，我们看到仅靠静态标准无法确保获得有利的结果。然后我们考虑一个替代框架：直接对制度（例如利润）和个人（例如福利）目标进行双重优化。通过以特定的群体相关方式定义福利，可以通过双重物镜等效地看待被约束为遵守公平标准的决策。这种源自约束优化和正则优化之间的等价性的见解表明，公平约束可以被视为平衡多个目标的特例。

第 6 章侧重于推荐系统，它提供了一系列不同的挑战。通过推荐系统，个性化偏好模型可以调解对互联网上多种类型信息的访问。针对将被消费、享受和高度评价的表面内容，这些模型主要用于准确预测个人的偏好。提高模型准确性的重点有利于使人类行为变得尽可能可预测的系统——这些影响与极化或激进化等意外后果有关。在第 6 章中，我们试图通过考虑用户控制和访问的概念来形式化一些风险价值。我们研究可达性作为在交互式系统中描述用户代理的一种方式。我们开发了一种计算上易于处理的指标，可用于在部署之前审核推荐系统的动态属性。我们的实验结果表明，准确的预测模型在用于对信息进行分类时，可能会无意中使部分内容库无法访问。我们的理论结果表明，没有内在的权衡，这表明可以设计出在保持准确性的同时提供代理的学习算法。

最终，将数据驱动的自动化集成到重要领域需要我们了解和保证安全、公平、代理和福利等属性。这是动态和不确定系统中的挑战。第一部分中介绍的工作朝着建立理论基础迈出了一步，以保证数据驱动的最优控制的安全性。将重要属性正式定义为易于处理的技术规范存在进一步的挑战。对于代理和福祉等定性和上下文概念尤其如此。第二部分介绍的工作朝着评估提出的技术形式和阐明新的形式迈出了一步。为了在反馈系统中实现可信的机器学习，必须沿着这两个方向取得进展。