官方背书也不靠谱：特斯拉自动驾驶让撞车率降低40%？算法缺陷

会员服务 ·

官方背书也不靠谱：特斯拉自动驾驶让撞车率降低40%？算法缺陷

2019 年 2 月 18 日 新智元

新智元报道

来源：arstechnica

编辑：大明

【新智元导读】2017年，美国国家高速公路安全管理局（NHTSA）报告称，特斯拉的自动驾驶系统将单位里程碰撞事故几率降低了40%。这个数字被特斯拉在不同场合猛吹了一年多，现在有一家公司指出。报告中的数学算法存在严重缺陷，人为夸大了特斯拉的安全性能。

特斯拉两年前的车祸报告遭质疑。

2016年，特斯拉一位车主发生致命事故，之后，美国国家公路交通安全管理局（NHTSA）对特斯拉自动驾驶仪的安全性进行了研究，研究结果称，特斯拉的自动驾驶系统使撞车事故发生几率降低了40%。

时隔两年，最近，一家名为“质量控制系统”（QCS）的公司对NHTSA的这份报告提出了猛烈抨击，认为调查方法中存在严重缺陷，大降40%的几率毫无说服力，并且，特斯拉在过去两年中多次引用这一数字也非常不妥。

特斯拉自动驾驶让撞车几率大降40%？水分不小

NHTSA 在2017年的调查结果表明，Autosteer系统将撞车率降低了40％，这似乎让人对这一问题的担心告一段落。

去年三月，另一位特斯拉用户Walter Huang因与Autosteer系统相关的车祸死亡，特斯拉在一篇博客文章中引用了NHTSA 40％的数字。几个星期后，特斯拉首席执行官埃隆·马斯克谴责记者一心关注关于撞车事件，而没有宣传自动驾驶系统的安全优势。

马斯克在2018年5月的财报电话会议上说：“他们应该写一篇关于自动驾驶汽车如何实现真正安全的报道。但人们不愿意看这种报道，他们写的是一些从根本上误导读者的煽动性的新闻。”

现在看来，NHTSA的原始数据集似乎与马斯克的说法相矛盾。特斯拉数据集中的大多数车辆都缺少数据或存在其他问题，因此无法确定Autosteer系统的激活是会增加还是降低撞车几率。QCS专门考察5714辆不存在这些数据问题的车辆时，发现Autosteer系统的激活实际上使撞车率升高了59％。

在某些方面，这不算是新闻了。去年5月，NHTSA在报告中将自己的研究结果描述为“粗略的比较”，“未评估Autosteer技术的有效性”。此外，该报告重点关注特斯拉自动驾驶系统硬件的第1版，特斯拉自2016年以来一直未销售该版本的车辆。

尽管如此，这些新发现与关于联邦政府对Autopilot等驾驶辅助系统如何监管的大讨论有关。NHTSA的40%的数字一出，赋予了特斯拉自动驾驶技术具备了毫无根据的合法性。而且NHTSA还尽量避免公开发布这些数据，给公众独立评估这些调查结果制造障碍，特斯拉得以继续引用这些数据进行宣传。换句话说，NHTSA似乎更专注于保护特斯拉免于尴尬境地，而不是保护公众免受潜在的不安全汽车技术的影响。

NHTSA的算法存在严重问题，夸大了Autopilot实际作用

特斯拉于2014年开始出售使用Autopilot硬件的汽车，但是Autosteer车道保持系统直到2015年10月才启用。这实际上形成了“自然实验”：通过比较2015年10月之前和之后同一车辆的撞车率，NHTSA可以尝试估计Autosteer技术对汽车安全性的影响。

因此，NHTSA向特斯拉询问2014年至2016年间的汽车销售数据，考察在采用Autopilot升级之前和之后驾驶了多少里程，在启用该硬件之前或之后是否经历过撞车（可通过安全气囊触发等方式测算）。特斯拉方面存有关于此类事件的非常完整的数据，因为特斯拉的汽车与特斯拉公司总部有无线连接。

NHTSA的调查结果背后的数据统计方式本应该是直截了当的。以下是该机构在2017年1月报告中对其调查结果的总结：

要计算撞车率，需要计算碰撞次数并将其除以行驶里程数。NHTSA进行了两次这样的计算，一次是在Autosteer系统升级之前行驶的里程数，再用系统升级之后行驶里程数计算一次。结果发现，在Autosteer系统升级之前，撞车事故更为常见，一旦Autosteer技术被激活，撞车几率会下降40％。

在这样的计算中，保证分子和分母从同一组数据点中获取是很重要的。如果某辆汽车的里程没有统计在分母中，则同一辆汽车的撞车事件也不能统计在分子中。否则结果便毫无意义。

然而，据QCS称，NHTSA恰恰就犯了这个错误。特斯拉向NHTSA提供了有关43481台车辆的数据，但这些车辆中有29051辆缺少计算这些车辆在激活Autosteer之前行驶里程数所需的数据段。NHTSA将这些数据缺失的车辆的激活Autosteer之前的行驶里程一律记为零，并归入统计，同时将这些的车辆的撞车次数统计为18次，占Autosteer激活前撞车总事故数的20％多。结果大大夸大了特斯拉汽车在Autosteer系统激活前的撞车几率。

数据集中的其他车辆还存在一个更微妙的问题。特斯拉为汽车提供了两个不同的数据点：分别是在Autosteer安装之前的里程表最后读数，以及Autosteer安装之后的里程表最初读数。在理想情况下，两个读数是相同的。然而，实际上有8881辆车的两个读数间存在明显差异。这些汽车差异总里程数高达数百万英里，在此期间并不知道Autosteer是否处于激活状态。

NHTSA选择将这些里程数排除在Autopilot激活前后计算的分母之外。结果是增加“之前”和“之后”期间的撞车率。这几乎肯定会使结果变得不准确，但我们不知道这是否使Autopilot在网上看起来是更好还是更差了。

只有在具有完整数据并且在启用Autosteer之前和之后，里程表数据点读数一致车辆上，才能计算出准确的撞车率。特斯拉的数据集中，符合该要求的车辆仅有5714辆。QCS主管Randy Whitfield对这些车辆的数据进行了计算，结果发现在特斯拉启用Autosteer技术后，每英里的撞车率实际上增加了59％。

那么这是否意味着Autosteer实际上使撞车的可能性提高了59％？不一定。这5714辆车只占特斯拉售出汽车的一小部分，且无法确定这些车是否具有代表性。这就是重点所在：试图从这些有缺陷的数据中得出结论是欠考虑的行为。NHTSA应该要求特斯拉提供更多数据，否则就应该完全将其计算结果从报告中删除。

在特斯拉的要求下，NHTSA未将数据对公众发布

如果NHTSA对其数据和方法进行透明化，那么NHTSA报告中的错误信息本可以更快地得到纠正。 QCS在报告发布约一个月后，于2017年2月根据《自由信息法》要求NHTSA公布报告的结论的数据和方法。如果NHTSA迅速提供了这些信息，那么很快就会发现这些计算上的问题。特斯拉在过去一年多的时间里就无法继续引用这些数据。

相反，在特斯拉表示数据是保密的，公布数据将导致特斯拉的面临竞争损失之后，NHTSA拒不配合QCS基于《自由信息法》做出的请求。 QCS于2017年7月起诉了NHTSA。2018年9月，一名联邦法官驳回了NHTSA的大部分诉讼请求，为NHTSA在去年年底向QCS提供信息铺平了道路。

QCS表示，它在关于Autopilot的争议中没有任何经济利益，也没有因其诉讼获得外部协助。

我们请求NHTSA对QCS的分析发表评论。应NHTSA的要求，我们推迟了24小时发稿，让NHTSA有时间准备回复。以下是该组织向我们发送的信息：

“我们正在审查QCS公司发布的报告，并将酌情发表评论。”

我们也请求特斯拉对此事发表评论。特斯拉公司的发言人写道，“QCS的分析驳回了2016年我们向NHTSA提供的数据集中共43481辆车中的5714辆车的数据。 “鉴于上路行驶特斯拉车辆的数量急剧增加，这份报告中的分析的数据来源约占特斯拉车辆迄今为止总行驶里程的0.5％，占特斯拉车辆迄今为止使用Autopilot系统行驶里程总里程的1％。”

特斯拉还指出，NHTSA在2017年的报告中，除了撞车几率下降40%这一点外，还表述了其他积极的数据。比如 “没有发现AEB或Aoutopilot系统的设计或性能方面存在任何缺陷”，也未发现“系统未按设计执行的任何事故”。

发言人还提到特斯拉现在在其网站上发布的新一季度的安全报告。该报告显示，与未启用Autopilot系统特斯拉汽车相比，使用Autopilot的特斯拉汽车每英里发生的事故更少，事故率低于道路上的普通汽车。

但Whitfield同样对这些数据不以为然。他在接受电话采访时表示，“我们知道，很多重要因素都无法控制统计数据。”Autopilot系统的使用应限于高速公路上，高速公路每英里的事故数量往往比其他道路要少。因此，当使用Autopilot时，单位里程上的撞车次数减少这一事实，并不一定能证明是Autopilot系统使得行驶更安全。它可能只是反映了这样一个事实，即在高速公路上，单位里程上的碰撞事故确实不那么常见。

至于特斯拉与非特斯拉汽车之间的比较，新车和高端汽车的事故发生率往往比普通汽车低得多。特斯拉较低的碰撞率可能反映出这样一个事实，即大多数特斯拉车型都比一般车辆要新。也就是说，这些车不太可能出现随着汽车老化而不可避免地出现的各种问题。

此外，特斯拉汽车的高价格，意味着特斯拉的驾驶员可能比普通驾驶员更富裕、年龄更大。而中年司机的驾驶往往比年轻司机更安全，富裕的司机通常可以更好地负担定期维护保养的费用，避免安全隐患。因此特斯拉相对较低的撞车率可能反映其客户群的人口统计学特征，而不是汽车本身的安全特性。

据我们所知，特斯拉尚未向独立的专家提供最新的碰撞事故数据，而这些专家可能能够控制这些因素，严格评估Autopilot系统的安全性。

参考链接：

https://arstechnica.com/cars/2019/02/in-2017-the-feds-said-tesla-autopilot-cut-crashes-40-that-was-bogus/

更多阅读