全球自动驾驶年度“实力”榜出炉,百度超越Waymo排第一,Waymo:我反对评测标准

2020 年 2 月 27 日 量子位
乾明 郭一璞 十三 发自 凹非寺 
量子位 报道 | 公众号 QbitAI

自动驾驶2019年度“实力”报告一出,匆匆一看,不能不沸腾。

行业进步神速——从总里程到平均接管,无人车相比去年宛如开启“飙车”模式。更关键的是,中国公司表现实在太好了,按照平均接管指标,全球Top 10中,有4家来自中国。

百度北美自动驾驶团队,更以一个分舵的力量,在谷歌大本营所在地击败了Waymo,首次登顶第一。

没错,这就是加州车辆管理局(DMV)刚刚公布的《2019年自动驾驶接管报告》,而且上述亮点结论,还不是全部。

这份报告发布后,首次失掉铁王座的Waymo不干了。

Waymo公开表示:反对这份官方报告的数据要求和能力判别标准。

所以究竟是怎样一回事,我们先从报告说起。

百度超越谷歌Waymo,中国公司进展神速

美国加利福尼亚州,是全世界对自动驾驶路测最开明的地区,目前集结了64家世界各地无人车公司,获准上路测试。

于是加州车辆管理局(DMV)一年一度的《2019年自动驾驶接管报告》,格外受关注——因为没有其他什么报告更能展现横向对比了。

就好比大家都在同一个场地场景竞技,最后由组委会发布一份年度报告,可以作为实力参考。

只是这份报告也有被诟病的地方,其由各家测试公司自主提交,核心指标难以量化,可以理解为:这是一份各家自己当裁判、各家自己凭良心的报告。

那么今年报告怎么样呢?首先,选手层面,共计36家无人车公司提交了报告。

其次,整体来看,大发展大进步,平均无人行驶508公里才需要人接管一次,与2018年相比,增长21倍。

此外,还有与以往不同的新结论:百度北美团队,首次把Waymo从第一王座上拉下马,而且中国公司表现都非常亮眼。

具体衡量指标,自然是脱离接管次数(Disengagements)。

什么叫”脱离接管次数“?即自动驾驶过程中,被人类安全员抢过控制权,让自动驾驶系统和车辆脱离,由人接管开车这件事发生的次数,其往往出现在应付各种自动驾驶系统处理不了的情况时。

展开来说,就是总共多少辆车、车跑了多远、人接管了多少次。

那么就可以算出平均跑多远需要人接管一次

划重点,要考的,后面我们都围绕这个平均跑多远需要人接管一次来讨论。

单纯从这一指标出发,数据结果如下:

横坐标在太长了,鉴于在手机上看会不太方便,我们先展示一下前10名的公司:

还有前十名之后的公司:

注意,蓝色柱状图是2019年的(也就是最新的数据),橙色柱状图是2018年的(一年前的数据)。

从上面各个图表中可以看出,百度USA第一,平均行驶29060公里才需要人接管一次——意味着围绕赤道跑两圈,只需要接管3次。

而谷歌兄弟公司Waymo,今年排名第二,平均行驶21283公里需要人接管一次。

Cruise、AutoX、PonyAI随后,分别位于全球三、四、五名。

这前五名中,百度、AutoX和PonyAI等中国公司,在加州展示的自然都还不是全部实力,但结果就已如此惊人。

其他中国公司的表现也非常亮眼。滴滴无人车第一次出现在报告中,排名第八,文远知行Weride排名第11,去年倒数第三的上汽(SAIC)排名第17。

与2018年数据相比,进步实在很大:

百度从第7名登上了第1。AutoX,从第9名进步到第4名。还有小马智行PonyAI,虽然今年名次没变,但成绩也提升了5倍多。

而去年的冠亚军,Waymo和Cruise虽然有进步,但并没有百度这种87倍的增量,屈居亚军和季军。

当然,这样的结果,也有人不干了。

高管、企业组团发声:DMV统计不妥

之前,DMV这份报告的统计方式和标准,就一直有争议。

而且就在近期,还有几家核心玩家,组团出来实名反对。他们的主要的质疑点,是将“脱离接管次数”作为核心考核指标的合理与否。

从字面意思看,接管的越频繁,就意味着自动驾驶系统发挥作用的时间占比越短,似乎这家自动驾驶公司也就越不厉害。

侯晓迪

去年,图森联合创始人&CTO侯晓迪就多次表达过:脱离的标准很主观,主要考核公司道德水准而非技术能力,“张三要求严格,违背交通规则就接管,李四风格激进,避免重大车祸事故才接管。”

因为标准很主观,每家公司都可以在报告里玩文字游戏钻空子。

侯晓迪认为,在城市复杂道路和在空旷无人的郊区刷里程是完全不同的,报告中并未包含这一点。

“如果这个测试版本你已经几千英里都无需接管,说明Feature没遇到过问题,那就该开发下一个版本去了。测试的意义就是找问题,不断找问题解决问题才能进入稳定版本迭代期,”他说。

所以,接管的频率对测试阶段的自动驾驶没有意义,更应该比较试乘的体验。于是图森今年已不再提交报告。

在今年DMV报告出炉前,来自Cruise和Aurora的掌舵者们就提前开炮了。

Dan Ammann

通用汽车旗下克鲁斯(Cruise)子公司CEO丹•阿曼(Dan Ammann),在周三的一次投资者会议上直言:”除了公司自身的内部数据,没有真正好的方法来体现公司的进展。“

Cruise联合创始人Kyle Vogt,也在自家的博客文章中提到了“刷里程”的问题,他认为,脱离往往发生在几种不同的情况下:

1、紧急情况,比如有人、有车突然冲到车前面出来;

2、情况其实不紧急,但安全员过于谨慎出手接管,就像你妈妈总看你开火做饭不放心要来接管一样;

3、对路上的其他车表示礼貌,自动驾驶毕竟和人类驾驶不一样,如果让其他车主感到别扭或困惑,那安全员就出手干预一下;

4、自动驾驶系统出错,不接管就要出事。

Vogt认为,只有第四种情况才是自动驾驶系统真的有问题的情况,因此把前三种算进去就很不公平了。

因此,脱离频率不能衡量自动驾驶是否做好了商业落地的准备,更应该比较比较自动驾驶汽车和人类驾驶的区别,看一看自动驾驶是不是比人类驾驶好用。

毕竟,现在人类开车也会经常出现车祸。

Chris Urmson

Aurora联合创始人Chris Urmson,曾经是谷歌自动驾驶的创始CTO。

他认为问题有两点,一方面,没有明确定义是什么构成的脱离,这样数字就没什么意义。

另一方面是企业可能正在开发新功能或在更复杂的路况下测试,这样必然会导致更高的脱离频率。

“在没车、没人、没路口的平坦干燥地区行驶1亿英里的脱离次数,和在匹兹堡这种路况复杂的城市行驶100英里的脱离接触次数是没法比的”,Urmson说。

因此,Aurora表示内部用工程速度,而不是脱离来衡量技术进步。

在上述质疑和diss后,今早DMV报告出炉,Waymo也加入了炮轰阵营。

Waymo今早发布推特上称,脱离指标并没有提供有关Waymo司机能力的相关见解,不认为(加州)脱离接触的数据应该用来比较性能。

如何看待今年这份报告?

所以如此备受diss,又该如何看待今年这份报告?

或许还有两个可当参考的维度,一是整体,二是各家自己的进步性

说一千道一万,DMV依然还是当前唯一能持续追踪全球无人车行业状况的机构,从这份数据中也能看出行业的一些发展状况。

2018年提交报告的无人车公司只有28家,今年达到了36家。

路测数据上来看,有快速的增长。2018年一共在加州路测了3258074公里,今年达到了4626627公里,增长了42%。

路测里程增多了,但整体接管次数却出现了下降。

2018年整体的接管次数为143720,今年仅为9107,减少了93.7%。

按照平均一次接管能够无人驾驶多久的数据来计算。2018年是22.7公里,绕着北京五环(98公里)跑一圈,得人工接管4-5次,今年则是达到了508公里——在北京五环跑五圈,都不用接管。

上述整体性数据,算是给无人车行业提升信心。当然这有个前提:每家提交报告的标准,跟去年没有明显差别。

其次,王座易主,新星突出,可以看出各家成绩进步曲线。

我们按照各家的情况,纵向整理了2018年到2019年的增速:

其中,进步速度超过5倍的企业一共有7家,如下图所示:

除了苹果和高通之外,都来自中国。

也有几家公司“逆势”而行,包括Zoox、文远知行Weride、Aurora、Drive.ai、日产、Nullmax、英伟达几家企业竟然“退步”了。

当然,其中一部分企业固然遇到了困难,比如吴恩达老师旗下的Drive.ai卖给了苹果。

另外,鉴于不少业内专家认为DMV平均跑多远需要人为接管一次这个考点设置的不合理。可能是这些公司给自己提升了考试难度,跑到了人更多、车更堵、路更险的地方去测试。

就是说几家“退步”的公司,实际上对自己的要求非常高,测试就是为了迎接问题和挑战,所以在脱离的指标下,数据退步了。

而去年倒数的苹果和Uber,今年也有了变化。苹果从1.8提升到了189.8,提升104倍,可能也是真正发力了。

而Uber自动驾驶业务因为人命事故,2019年一直低调行事,这次并没有出现。

最后,还是在这次报告披露中,还有两家中国力量因为没有提交脱离接管报告,将被取消加州路测资格:

一家是Roadstar,毕竟公司已经清盘了。

另一家是Xmotors.ai——即小鹏汽车。小鹏的具体原因是啥,没有更进一步披露。

总之,这就是今年DMV自动驾驶“实力”榜,不知道你看完有何评价?

报告链接:

https://www.dmv.ca.gov/portal/dmv/detail/vr/autonomous/disengagement_report_2019

作者系网易新闻·网易号“各有态度”签约作者


<NVIDIA图像处理系列公开课 · 免费报名>  今天晚上8点第一期课程,英伟达专家将分享如何搭建和部署NVIDIA迁移式学习工具包、调用预训练网络模型,以及结合Deepstream实现实时目标检测。

戳二维码,备注“英伟达”即可报名、加交流群,主讲老师也会进群与大家交流互动哦~

直播报名 | 图像与视频处理系列课程

在家学编程 | 柯基编程双师互动课

疫情防控期间,家里的小朋友有点无聊?

推荐给7-12岁的小朋友,一个好玩又有趣的事情:在家学习编程。这是一个绝佳的逻辑思维、数理思维、计算思维的提升方式。

柯基少儿编程入门课限时优惠招生,一共七个课时,现在只需48元,而且学完课程学费全返!

欢迎爸爸妈妈们扫码查看、报名:


量子位 QbitAI · 头条号签约作者


վ'ᴗ' ի 追踪AI技术和产品新动态


喜欢就点「在看」吧 !



登录查看更多
0

相关内容

Waymo是Alphabet2016年12月13日,宣布将自动驾驶汽车项目分拆为一家单独的公司Waymo,下一步工作是让人们使用车辆进行日常活动。 Waymo CEO约翰·科拉菲克。 "Waymo"这个公司名所代表的是"A new way forward in mobility"(未来新的机动方式)。
华为发布《自动驾驶网络解决方案白皮书》
专知会员服务
125+阅读 · 2020年5月22日
【微众银行】联邦学习白皮书_v2.0,48页pdf,
专知会员服务
165+阅读 · 2020年4月26日
阿里巴巴达摩院发布「2020十大科技趋势」
专知会员服务
106+阅读 · 2020年1月2日
2019中国硬科技发展白皮书 193页
专知会员服务
81+阅读 · 2019年12月13日
自动驾驶车辆定位技术概述|厚势汽车
厚势
10+阅读 · 2019年5月16日
噩耗再次传来!华为,挺住!
FinTech前哨
4+阅读 · 2018年2月4日
热点 | 深圳无人驾驶公交车正式运营!
机器学习算法与Python学习
3+阅读 · 2017年12月4日
百度也跨界了? 腾讯阿里:我觉得OK
FinTech前哨
6+阅读 · 2017年10月23日
Revealing the Dark Secrets of BERT
Arxiv
4+阅读 · 2019年9月11日
The Evolved Transformer
Arxiv
5+阅读 · 2019年1月30日
Self-Driving Cars: A Survey
Arxiv
41+阅读 · 2019年1月14日
Arxiv
3+阅读 · 2018年8月27日
Arxiv
3+阅读 · 2017年8月15日
VIP会员
相关VIP内容
相关资讯
自动驾驶车辆定位技术概述|厚势汽车
厚势
10+阅读 · 2019年5月16日
噩耗再次传来!华为,挺住!
FinTech前哨
4+阅读 · 2018年2月4日
热点 | 深圳无人驾驶公交车正式运营!
机器学习算法与Python学习
3+阅读 · 2017年12月4日
百度也跨界了? 腾讯阿里:我觉得OK
FinTech前哨
6+阅读 · 2017年10月23日
相关论文
Revealing the Dark Secrets of BERT
Arxiv
4+阅读 · 2019年9月11日
The Evolved Transformer
Arxiv
5+阅读 · 2019年1月30日
Self-Driving Cars: A Survey
Arxiv
41+阅读 · 2019年1月14日
Arxiv
3+阅读 · 2018年8月27日
Arxiv
3+阅读 · 2017年8月15日
Top
微信扫码咨询专知VIP会员