现代社会的“电车难题”：自动驾驶系统在意外来临时会撞向谁？

2019 年 1 月 7 日 腾讯研究院

文章来源 | S-Tech 作者 | 罗锦霖

“一辆高速行驶的列车驶来，列车前面有两条轨道，正常行驶的轨道上被绑着五个人，而另一条轨道上绑着一个人；你的手中有一根操控杆可以控制列车的行驶轨道，如果不拉下操纵杆，列车将撞上五个人，另外一条轨道的一个人将会得救；如果拉下操纵杆，列车将撞向一个人，正常行驶轨道上的五个人将会得救。如果是你，将怎样选择？”

闻名于哲学界的“电车难题（Trolley Problem）“在自动驾驶汽车时代”将不再只是一个哲学问题，而是每一个自动驾驶系统需要面对的真实问题，系统将决定在发生事故时撞向谁、保全谁。

现行的自动驾驶系统分为六个级别，Level 0—Level 5，从“仅提供提醒”到“无需驾驶员的全自动驾驶”，特斯拉的自动驾驶系统已经可以达到L5，并且谷歌、百度等公司还在不断的跟进自动驾驶系统开发。

（源自为什么自动驾驶需要5G？网优雇佣军）

但是当自动驾驶系统达到“全自动驾驶”时，系统的开发者就要认真考虑多种两难的情境：当自动驾驶汽车处于“电车难题”情况下要怎样选择？在极端情况下，自动驾驶系统会选择拯救年长者还是拯救青少年？而当不可避免的事故发生时，法律将怎样判定肇事责任？

意外来临时，人类会如何选择？

麻省理工大学在2016年开发出了“道德机器（Moral Machine）”问卷测试网页，通过问卷的方式调查全球各地的人在假定的 “电车难题”中如何做出选择。在问卷之中，有九种独立情况需要受试者做出判断，分别是：人类和宠物之间的选择、多数人和少数人之间的选择、年长者和年轻人的选择、遵守交规的人和违反交规的人之间的选择等九个分类。

人类道德选择的共性

“道德机器（Moral Machine）”收集了来自233个国家的人做出的接近4000万个选择数据并进行分析，并且将分析结果发表到了Nature上。研究发现了一些全球普遍的选择倾向，比如受访者较普遍地选择了保护人类而不是其他动物；较普遍地选择保护多数生命而不是少数；较普遍的选择保护青少年而不是年长者；较普遍的选择保护遵守交规的人而不是违反交规的人。

人类道德选择差异

除此之外，研究显示在不同的国家和地区，人们选择也出现了很大的差异。本论文中，将所有的参加调查样本分成了三个集群：第一，西部集群（Western），主要包括北美和欧洲，以天主教和传统基督教文化为主的集群；第二，东部集群（Eastern），主要包括中国和亚洲国家，以儒家文化为主的集群；第三，南部集群（Southern），主要包括拉丁美洲和法属海外地区。

根据雷达图可看出，来自不同地区的人的选择存在差异；比如，其一，西部集群和南部集群倾向于保护年轻人，而东部集群这种倾向则不明显；有可能是因为东部集群的“敬老”文化”的影响；其二，南部集群倾向于保护社会地位高的人，并且远超西部集群和东部集群。或许和南部地区的集权统治和军阀当政有关系；当进行了地区分类之后，还有一些奇怪的倾向，比如说，南部集群倾向于保护动物而不是人类。

由此可以预见的是，在未来自动驾驶法制化进程中，首先我们需要一套所有人类达成共识的基本准则（比如说优先保护人类生命），并且通过联合国或者其他国际组织让其法制化，基本准则就相当于自动驾驶领域的宪法，其他自动驾驶相关的法案不得违背基本准则。

然后各个国家可以根据每个地区使用者的特殊需求来制定不与基本准则相冲突的补充法案，通过法律手段来规范自动驾驶中出现的部分“电车难题”。与此同时，各国的自动驾驶技术供应商也需要按照各个国家地区的不同法律来对自动驾驶系统进行定制设置，对每一套产品进行合规检查。

意外来临时，法律如何应对？

由于自动驾驶的发展还处于初期阶段，各国政府都在积极制定法律法规，美国德国等政府已经承认自动驾驶系统的合法地位，开始对自动驾驶汽车的道路测试等环节进行规范（腾讯研究院，2018），中国政府也已经开始积极筹备自动驾驶立法工作；但世界上极少有关于自动驾驶汽车的道德选择的法律规范。

截止至今天，世界上唯一一份提供官方自动驾驶汽车道德官方指导的文件是德国联邦运输及数字基础设施部门在2017年6月发布的《German Ethics Commission on Automated and Connected Driving》中文译名（暂）：《德国道德委员会关于自动互联化驾驶的指导准则》（后简称《准则》）。

《准则》中首次尝试对部分自动驾驶涉及的道德难题给出官方解答；

第七条中明确的指出，在极端情况下，自动驾驶系统需要将人类的安全置于首位，高于财产和动物安全；

第九条指出，在车祸不可避免的情况下，自动驾驶系统中任何基于个人特征的选择倾向（比如：年龄、性别、身体和心理状况等）都是禁止的；自动驾驶系统在移动中产生危险时不能够牺牲不相关的第三方。

这两个条款意味着：其一，当意外发生时系统会尽全力保护乘车人和行人的安全甚至可能会牺牲动物安全；其二，自动驾驶系统不被允许在意外来临时做出道德判断，比如选择保护年轻人或者年长者，而且在车祸不可避免时，也不能够选择性地“牺牲”行人，不论行人是否违反交通规则。

第七条背后体现的是对人类生命权的保护和人道主义精神，具有普世意义，值得未来其他法案的借鉴。而第九条则要求自动驾驶系统不能在意外来临时做出道德判断，比如选择保护年轻人或者年长者，而且不能够选择性地“牺牲”行人。本条法案排除掉了很多“电车难题”，但是在自动驾驶系统的实际运行中缺乏一定的指导意义。

在道德难题之外，《准则》还对自动驾驶的其他方面进行了规定；

第十二条规定，公众有权充分了解自动驾驶领域的新技术和自动驾驶技术在不同驾驶情况下的应用；

第十五条规定，车辆所有者和驾驶者有权决定是否要将本车产生的自动驾驶数据分享或者给第三方使用等。

这两条规定规范了公众的知情权和数据决定权等基本权利，《准则》中还有针对模糊情况的规范，本文暂不赘述。

《准则》为各国的自动驾驶立法提供了一个有效参考，但是依然没有能够具有法律效力，并且没有得到全球的普遍认可。

意外来临时，自动驾驶系统会怎么做？

在各国立法尚不完善的情况下，开发自动驾驶系统的公司已经在悄无声息地在算法中写入了一些偏好，而这些偏好就将涉及到上文提及的道德判断。

早在2014年时，Google就表示，Google的自动驾驶原型车会在撞击中选择“较小的物体”；在2016年，Google又表示，Google的自动驾驶系统会先保护行人，然后再选择撞“较小的物品”。同在2016年，奔驰的高管曾表示，公司会“不惜一切代价的保护乘客安全”，这个表态引起了轩然大波，公众认为公司无权做出生命抉择；后来奔驰公司又表态，他们的目标是“百分之百的避免事故”而不是做出道德选择，风波才逐渐平息。

可想而知，公司普遍不愿意回答媒体或者大众提出的关于自动驾驶系统道德选择的提问，因为首先，大家担心为时尚早；现在的系统还只能够在行人、动物和骑车者之间进行判断，甚至还不具备事故发生时迅速判断个人特征的能力（比如：年龄、社会地位等）；其次，没有公司愿意搬起石头砸自己的脚；在类“电车难题”中的任何判断都将引起公众地指责和质疑，并且会直接影响到消费者的看法。

自动驾驶系统道德选择背后涉及的是极大的伦理问题。在两难问题中对任何一方的偏袒都会涉及到对另一方的歧视。比如：当自动驾驶系统优先选择男性时，女性还敢选择自动驾驶汽车吗？行走在马路上的女性能够安心吗？如果武断的对自动驾驶伦理问题做出判断将带来极大的社会影响，并且剥夺某些群体的合法权益。

在自动驾驶飞速发展的时代，各家自动驾驶系统的最终目标还是从技术上消除交通事故或者将交通事故对人类的伤害降到最低。关于交通事故不可避免时的道德判断标准，没有公司或者个人有权力或者愿意决定处于危急关头时任何一个人的性命，毕竟每个人都只有一次生的机会，而没有一条生命是能被放弃的。

— — | END | — —

【参考文献】

1. Moral Machine测试网址：http://moralmachine.mit.edu/

2. Edmond Awad, Sohan Dsouza, Richard Kim, Jonathan Schulz, Joseph Henrich, Azim Shariff, Jean-François Bonnefon & Iyad Rahwan. The Moral Machine experiment. Nature 563, pages59–64 (2018)

3. Federal Ministry of Transport and Digital Infrastructure, Federal Republic of Germany. German Ethics Commission on Automated and Connected Driving. 2017

4. James Vincent, Global Preferences for Who to Save in Self-driving Car Crashes Revealed, The Verge. 2018

5. Hussein Dia, The Moral Machine: Navigating the ethical rules of autonomous vehicles, Swinburne University of Technology. 2018

6. 腾讯研究院. 自动驾驶发展指南.2018

7. 虎嗅网优雇佣军. 为什么自动驾驶需要5G. 2018