布里斯托与牛津联合提出机器人「伦理黑匣子」！全文详解EBB框架及实现方法

来源：机器人圈

概要：本文提出，机器人及其相关自主系统，应配备类似飞机飞行数据记录器的“黑匣子”，以持续记录传感器以及相关内部状态数据。我们称之为“伦理黑匣子”。

本文提出，机器人及其相关自主系统，应配备类似飞机飞行数据记录器的“黑匣子”，以持续记录传感器以及相关内部状态数据。我们称之为“伦理黑匣子”。我们认为，伦理黑匣子对发现机器人为什么以及如何造成事故的过程至关重要，因此该黑匣子是建立问责制和可靠制的重要组成部分。我们也认为，如果没有伦理黑匣子提供透明度，机器人和自主系统很难赢得公众的信任。

介绍

无人驾驶发生车祸就是头条新闻！2016年5月，特斯拉致命事故引发全球媒体对该事故原因的猜测。但令人担忧的是，在披露这些事件中，缺乏透明度。系统开发人员让老百姓要放心，但人们可能怀疑他们已有既得利益，所以为事故在“润色”。这便提出了如何保证机器人控制系统的透明度等关键问题，从而避免公众担忧，并确保机器人在人类社会中获得高度的信任和接受度。虽然我们现有的问责制和可靠概念，由于半自主机器人，有所改变，但机器自主性的新高度，可能会彻底打破现有状态，因此我们迫切需要寻求合适的新修订。

在本文中，我们建议机器人或者相关自主系统应当配备相当于飞机飞行器数据的记录器，以持续记录传感器和相关的内部状态数据。我们称这是一个“伦理黑匣子”。我们认为，“伦理黑匣子”将在发现机器人为什么和如何造成事故的过程中，发挥关键作用，因此它将是建立问责制和可靠的重要组成部分。我们也认为，如果没有伦理黑盒子提供透明度，机器人和自主系统就不太可能赢得公众的信任。

“黑匣子”与飞行数据记录器

黑匣子或飞行数据记录仪于1958年推出，用于较大的飞机。从那时起，飞行数据的数量大幅扩大。最初的飞行数据记录器包括有关表面位置和驾驶员驾驶员控制运动的时间导航数据，还记录了内部和外部环境的传感器数据，以及部件和系统的功能，还有人为的自动驾驶仪设置，如选定的方向、速度、高度等。第一个黑匣子可记录5个飞行参数，而现代飞机上的数据记录仪记录了1000多个参数。

一个重要的创新是引入了驾驶舱录音机（CVR）以捕获飞行员的谈话，帮助解释飞行数据。虽然最初被抵制，但是CVR捕获的对话最后被证明是重建事故情况的一个非常有价值的工具，它提供了一个有意的上下文，用于解释飞行数据。空中事故调查有助于排除系统的失效模式，有助于保持乘客对航空公司的信任感，实现问责制，并生成有助于整体安全水平的教训。

通常，空中事故造成影响的因素与日益增长的机器人在未来可能发生的事件相对应。空中事故通常是机组人员的意图和行为、飞机系统的完整性和行为以及飞行的环境情况之间相互作用、不可预测的结果。相似的，我们预计，未来，机器人将受到类似的因素的影响。正如我们期望机器人为我们做更多的事情，它们必然会变得更加复杂，动作更自主，并且在无限制的环境中进行。这些更大的自由性伴随着意外的因素的组合，增加了意外的风险，导致危险情况发生，或对实际造成危害。

我们不是要对这种事件可能发生的频率做出判断，如同空中灾难一样，重大的伤害可能很少，但是我们需要承认危险事件必然发生。因此，我们对机器人以新的方式为人类活动做出贡献的勃勃雄心，意味着给予机器人新的能力和自由性，这反过来又增加机器人涉及重大危害和伤害的风险。虽然这可能会扩大对机器人的危害的总体评估，但我们认为，这是必要的。其实，将黑匣子概念转移到飞机以外的想法并不新颖。汽车和公路运输行业已经大量采用飞机内的黑匣子技术，并实现数据采集，也许与本文最相关的是，开发车载数据记录器以研究驾驶员行为，从而更好地了解一般车祸的原因。

伦理治理与信任

“伦理”与“标准”和“规章”相连。标准将伦理原则正式化为一种可用于评估合规水平，更有用的话，也许符合伦理标准的结构，为设计者提供如何对给定的机器人的伦理风险评估进行指导，并减轻其识别到的风险。因此，伦理加强了标准。但标准有时也需要该系统被认证符合标准或标准的一部分。因此，伦理（或伦理原则）与标准和法规相关联。尽管许多现行法律适用于机器人和自主系统，但毫无疑问，无人机、无人驾驶汽车和辅助机器人技术等迅速出现的高破坏性技术，一定需要新的法律法规和监管机构。

 

图1 RRI框架

伦理和标准都符合更广泛的可靠研究与创新框架（RRI）。RRI为伦理和标准提供了一个框架，如图1所示。可靠创新通常要求研究要在基于伦理的基础上进行，所以“伦理治理”将RRI与伦理联系起来。RRI还通过公共参与、科学和包容性原则直接与伦理联系起来。RRI的另一个关键原则是，系统地、透明地评价，以及比较系统功能的能力，通常采用标准化测试或基准。一般来说，如果它能够带来好处，同时也是安全的、管理良好的，而且在事故发生时能够接受强有力的调查，那么该技术是值得信赖的。例如，我们信任飞机的原因之一是，我们知道飞机是高度受管制的行业，并且具有良好的安全记录。商业飞机如此安全的原因不仅仅是因为设计，也是因为严格的安全认证过程，当事情出错时，强大而公开的空中事故调查过程。

监管机构要求监管机构要积极引导公众参与，为监管流程的稳健性提供透明度和信心。所有这一切都会帮助建立公众信任的过程，如图1所示。然而，信任并不总是遵循（建议）的规定。最近，关于无人驾驶汽车决策的调查显示了对无人驾驶汽车的偏好和监管的矛盾态度——“...参与者认可实用的无人车（乘客可获得更大的收益），并希望其他人购买他们，但他们本身愿意不惜一切代价坐在无人车里。但是，研究参与者不赞成执行无人车的规定，也不愿意购买这样（执行了规定）的无人车。”

涉及安全的关键人工智能技术和透明度

所有机器，包括机器人，都有潜在的危害。当今，可靠设计的机器人被设计为安全的，并避免意外或故意误用的意外危害，正如用于个人护理的机器人。本文的人工智能主要焦点是硬件的机器人和自主系统，而不是以人工智能软件形式呈现的机器人。在考虑机器人的安全性时，我们也必须关心对于机器人的人工智能控制。机器人的三个重要类别是无人机、无人驾驶汽车和辅助机器人（包括护理或工作场所的助理机器人）；所有这些都将由具体的AI控制，具有一定程度的复杂性。然而，这些都是涉及安全的关键系统，其安全性从根本上依赖于那些具体的认证机构——认证机构可做出决策，这些决策会最终影响人类复制。

让我们考虑一下透明度的问题，特别是两个问题：

1.我们该如何信任人工智能系统的决策，更广泛地说，公众如何对使用人工智能系统进行决策有信心？我们认为，伦理治理是建立公众信任的必要但（可能）不充分的因素。

2.如果一个AI系统作出的决定是错误的，那么我们如何调查决策的过程呢？这个问题是伦理黑匣子的基础。

对于不同的利益相关者而言，透明度必然意味着不同的事情——安全认证机构或事故调查员所要求的透明度显然需要与系统用户或运营商所要求的不同。但一个重要的基本原则是，应该总是有可能找出为什么自主系统会作出特定的决定（尤其是如果这一决定已经造成损害）。提供这种透明度，特别是事故调查的技术，相当于一架飞机飞行数据记录仪（FDR）。由于飞机FDR通常被称为黑匣子，我们称这种技术为“伦理黑匣子”，这样的设备将支持机器人和机器人系统的伦理治理的整体，以及重要的物理组件。像其航空对手一样，伦理黑匣子将不断记录传感器和相关的内部状态数据，以便大大方便（尽管不能保证）发现机器人为什么做出特定决定或一系列决策——特别是导致事故的决策。伦理黑匣子需要根据标准行业规范进行设计和认证，尽管每类机器人很有可能具有不同的标准；无人驾驶车一种、无人机又是另外一种，等等。

1、伦理黑匣子规范概要

图二具有伦理黑匣子的机器人子系统和数据流

所有机器人都会收集传感数据，然后根据传感数据和一些内部决策过程（AI）向执行机构发送命令。这当然是简化了的，实际上这将是一套复杂的连接系统和过程，但从抽象层面上看，所有智能机器人将具有如图2所示的蓝色的三个主要子系统。如果我们考虑使用无人驾驶汽车，其传感器通常包括光检测和测距传感器（LIDAR）、摄像机以及多个短距离碰撞传感器以及GPS、环境温度传感器、环境温度等，以及用于燃油油位、发动机温度的内部系统传感器等。执行器包括汽车的转向、加速器和制动系统。伦理黑匣子（EBB）及其数据流，如图2所示，需要收集和存储来自所有三个机器人子系统的数据。传感器EBB需要收集采样或压缩的原始数据，以及通过传感器子系统的后处理（即“前方车辆、估计距离100m”）提取的特征的数据。从AI系统中，EBB将需要作为最低级别的“状态”数据，例如“制动”、“转向左”、“停车”等，如果更理想的话，还需要更高水平，例如“在交叉路口向左转”，并提醒诸如“左前方检测到的行人—采取回避动作”。从执行器系统来说，EBB需要收集执行机构的要求（即“转向左10度”）以及所产生的效果（即转向角）。所有这些数据都需要加上日期和时间标记，以及GPS的信息数据。

EBB可以存储多少数据？有些报告报道，Google的无人驾驶汽车每秒产生1GByte的原始数据，如果我们（合理地）假设我们可以采样（和/或）压缩这个数据，以每秒100MB的速度，那么配备1TByte固态硬盘的EBB将会允许它连续记录数据大约3个小时的操作。EBB将像飞机飞行数据记录器一样，不断覆盖最早的数据记录，以便EBB随时可以存储最近3个小时。鉴于需要记录导致事故的事件，这似乎是足够的。

明确指出EBB需要记录哪些数据，超出了本文讨论的范围。然而，我们可以搞清楚这些数据是什么：关键原则是，从EBB中记录的数据可以重建在事故发生前和发生期间的时间线上，该时间线上标注有关键传感输入、执行器需求、驱动执行器需求，以及更高的目标——警报和决策。完整的EBB规范将需要确定要记录的数据，同样重要的是，机器人子系统和EBB之间的接口的规范。接口规范必须包括硬件（连接器）、信令和协议。请注意，机器人子系统与EBB之间的数据流只有一条——就机器人而言，EBB必须是完全被动的子系统。

EBB规范还必须涵盖物理和数据接口，允许事故调查员访问EBB记录的数据（如图2下方所示）。EBB还有许多其他方面需要指定，包括EBB的物理形式，注意到，像飞机一样，它将需要足够坚固，才能在非常严重的事故中辛存下来。有些人会认为，EBB根本不需要一个物理组件，而应将所有数据流传输到安全云存储。然而，我们反驳说，大量的数据（特别是在大量例如无人驾驶汽车的环境中）可能使当地的无线基础设施过载。当然，EBB还需要坚固、安全，同时具有防篡改属性。

如这里所建议的，EBB并不记录具体AI的内部低级决策过程（正如FDR飞机不记录车辆自动驾驶仪中的低级过程）。这样做的原因是，不同的机器人AI可能具有非常不同的内部架构：一些可能是算法的，其他的基于人工神经网络（ANN）。但是应注意的是，在机器人学习或适应的情况下，机器人操作期间发生变化的任何控制参数（如ANN中的连接权重）都需要定期保存在EBB中，从而能够深入调查事故。因此，为了捕获所有具体AI的低级别决策流程，找到一个通用规范是不可能的。相反，本文中所提出的透明度并不能通过EBB单独实现，而是通过事故调查过程来实现，如下文第5节所述。

基于概述规范的EBB在多大程度上是一个实际的命题？我们建议，使用当前的固态硬盘（SSD）技术可以实现从机器人传感、AI和激活子系统记录的最近3小时的数据。EBB中计算量最大的过程可能是数据压缩，由于实时视频压缩在智能手机中很常见——表明类似的计算资源对EBB是足够的。由于手机最耗电的子系统是其无线接口，所以EBB的整体功耗可能明显低于智能手机。EBB的尺寸和质量主要由其强大的防篡改外壳和连接器决定。与坚固耐用的外部HDD（大约15 x 10 x 5 cm）相当的单位尺寸似乎既可以实现，也适合安装在无人驾驶汽车或移动服务机器人中。轻型飞行机器人的EBB显然将更具挑战性，但鉴于飞行机器人需要无线接口，无线连接的外部EBB或基于云的EBB可能会更实用。

对于所有机器人而言，没法为所有机器人设定一个标准的EBB，或者所有EBB都有一个标准规范。最成功的数据传输标准是基于一个共同的核心规范，它具有足够的灵活性，可以扩展以允许制造商或设备特定的数据，或基础标准，然后可以使用一系列相关标准进行扩展。前者的一个例子是乐器数字接口（MIDI），其制造商指定了系统独占（Sys Ex），后者由IEEE 802系列的局域网标准完美诠释，其中IEEE 802.11（Wi-Fi）无疑是最显着的。EBB接口的共同核心规范在很大程度上还是个开放性问题，尽管我们认为，对于移动机器人类来说，这样的核心规范是具有足够的共同性。虽然目前有一个标准针对自主系统中可测试的透明度水平的——IEEE标准工作组P7001，但我们仍然不知如何设计这样的规范。

2、道德机器的伦理黑匣子

本文证明，所有机器人应该配备一个伦理黑匣子。现在，我们考虑的是明确了伦理的机器人。很明显，近期的一些自主系统，比如最显著的无人驾驶汽车，就默认遵守伦理准则。无人驾驶汽车和辅助（即护理）机器人都会做出具有伦理后果的决策，即使这些机器人没有被明确设计具体的伦理价值观，并根据这些价值调整其选择。可以说，所有的自主系统都隐含地反映了设计者的价值观，或者甚至更可怕的是，训练数据集（如AI系统掺入了人类的偏见）。

越来越多的共识是，在不久的将来，机器人需要设计为明确地反映其用户以及社会的伦理和文化规范。除了在设计中合乎逻辑的价值观之外，还需要向机器人提供伦理管理。也就是说，允许机器人评估其（或其他人）行为的后果，并根据一套伦理规则修改自己的行为的过程。发展伦理管理者仍然是基础研究的主题，它提出了两个高层次的挑战：（1）以适应机器实施的格式形式化伦理的哲学问题，（2）在自主系统中实施伦理推理的工程问题。

解决第二个挑战有两种方法：

1.基于约束的方法——根据伦理规范明确地约束人工智能系统的行为; 

2.训练方法——训练人工智能系统，以认识和正确应对伦理挑战的情况。

扩展本文中针对配备伦理管理者的机器人概述的EBB，在原则上非常直接：EBB需要另外记录伦理管理者做出的决定，以便事故调查员可以将这些决策导致事故的过程考虑在内。

机器人事故调查的过程

在飞机中，是调查而不是黑匣子数据等，给发生空中事故的原因下结论。我们认为，涉及机器人的事故也是如此，调查将在EBB数据和其他信息之间制定确定事故原因的信息。因此，除了在EBB中记录的技术参数外，我们还要考虑如何将这些数据的解释纳入调查过程。空中事故调查是重建社会的过程，需要公正、稳健，我们认为这是一种封闭的形式，这样使航空业不会在公众意识中造成持久的不良影响。我们期望对机器人事故的调查能够起到非常相似的作用。

以无人驾驶汽车为例，事故调查将汇集各种来源的数据和证据。本地情况无疑将在跟踪事故原因方面发挥作用。虽然EBB目睹通常情况下将无法维持的事件，但无人驾驶汽车的活动很可能发生在有许多目击者的人口密集的空间中，其中有些人将通过手机和其他设备记录、分享并发布活动的细节，为可能发生的事情创造多个视角。因此，可能会有旁观者、行人、乘客或其他司机对事件有什么特殊的看法，并可能以各种方式展开事故。传统的警方取证将以常规的方式对现场进行调查，例如道路上的滑行标记或碰撞对其他物体（墙壁、汽车）或人员的影响（例如，对碰撞数据的分析见）。这便提出了EBB数据的解释如何与来自其他目击者的证据的解释并行的问题。

在这种情况下，作为相互依赖的可靠性网络的另一个关键部分，汽车的制造及其维护者很可能被要求加大投入。如果初步调查指出，汽车AI的内部低层决策过程可能是事故的原因，那么这就尤为重要了。事实上，企业可能需要发布用于训练在发生事故时驾驶这些系统的算法的数据集；这一要求可能与公司从这些数据中获得竞争优势的愿望相冲突。

一个明显的问题，来自不同类型的目击证据的数据是冲突的，该如何得出结论。很明显，在无人驾驶汽车技术方面具有深厚专业知识的专家团队，也许在道路交通调查机构的支持下，需要仔细权衡这些数据，并得出结论，做出建议。但无疑，EBB提供的数据恰好处于事故调查过程的中心，提供了所有其他证人账户重叠的关键且客观的时间表。

总结讨论

最近特斯拉事故报告指责为“人为”错误，这经常被引证为在核能源、空间探索和医学等各种灾难和事故中的主要原因或因素。但在这种情况下，我们回应杰克•斯蒂尔戈（Jack Stilgoe）在“卫报”中的发言，认为这一结论及其过程是一个错失的机会，他认为我们可以从这样的事件中学习关于野外这种自主系统的系统性质，还要开展更加透明和负可靠性的事故调查程序。据报道，在美国国家公路和运输安全局（NHTSA）发布报告之后，许多媒体报道集中在这样一个事实上，即没有产品被召回，而将特斯拉的商业价值摆在头位。但是，正如斯蒂尔戈所说，“随着新技术的出现，对于政府来说，开放它们是至关重要的，以便决定如何发挥潜力，同时防范风险。”人为错误是一个常见的可避免错误，但是，“如果责怪个人用户，那么技术就是忽视系统性问题，这些问题在飞机上强加了很大的安全改进。当飞机坠毁时，监管机构的优先事项必须是收集数据，并从中学习。用户错误应该被看作是设计不善的系统，而不是人类的“愚蠢”导致的。

RRI中的可靠性是有整个系统构成的，似乎与机器人和自主系统的设计、开发和使用中相互依赖的系统性质相当。虽然我们在本文中提出的EBB似乎侧重于确定事故发生后的问责制，但实际上是对这些机器人技术应用预期治理的反思的结果。事故是不可避免的。在这一治理范围内，至关重要的是，要考虑到哪些机构、流程和利益相关者需要做出确定事故原因的正确说明，并将EBB记录作为其中一项证据。虽然过程本身可能看起来很简单，但是由于当地情况和事故的性质，政治倾向、法律行为、国际差异和公司关注等问题，这一点将变得复杂。

来源：机器人圈

---

欢迎加入未来科技学院企业家群，共同提升企业科技竞争力

一日千里的科技进展，层出不穷的新概念，使企业家，投资人和社会大众面临巨大的科技发展压力，前沿科技现状和未来发展方向是什么？现代企业家如何应对新科学技术带来的产业升级挑战？

欢迎加入未来科技学院企业家群，未来科技学院将通过举办企业家与科技专家研讨会，未来科技学习班，企业家与科技专家、投资人的聚会交流，企业科技问题专题研究会等多种形式，帮助现代企业通过前沿科技解决产业升级问题、开展新业务拓展，提高科技竞争力。

未来科技学院由人工智能学家在中国科学院虚拟经济与数据科学研究中心的支持下建立，成立以来，已经邀请国际和国内著名科学家、科技企业家300多人参与学院建设，并建立覆盖2万余人的专业社群；与近60家投资机构合作，建立了近200名投资人的投资社群。开展前沿科技讲座和研讨会20多期。  欢迎行业、产业和科技领域的企业家加入未来科技学院

报名加入请扫描下列二维码，点击本文左下角“阅读原文”报名