With the growing capabilities of autonomous vehicles, there is a higher demand for sophisticated and pragmatic quality assurance approaches for machine learning-enabled systems in the automotive AI context. The use of simulation-based prototyping platforms provides the possibility for early-stage testing, enabling inexpensive testing and the ability to capture critical corner-case test scenarios. Simulation-based testing properly complements conventional on-road testing. However, due to the large space of test input parameters in these systems, the efficient generation of effective test scenarios leading to the unveiling of failures is a challenge. This paper presents a study on testing pedestrian detection and emergency braking system of the Baidu Apollo autonomous driving platform within the SVL simulator. We propose an evolutionary automated test generation technique that generates failure-revealing scenarios for Apollo in the SVL environment. Our approach models the input space using a generic and flexible data structure and benefits a multi-criteria safety-based heuristic for the objective function targeted for optimization. This paper presents the results of our proposed test generation technique in the 2021 IEEE Autonomous Driving AI Test Challenge. In order to demonstrate the efficiency and effectiveness of our approach, we also report the results from a baseline random generation technique. Our evaluation shows that the proposed evolutionary test case generator is more effective at generating failure-revealing test cases and provides higher diversity between the generated failures than the random baseline.


翻译:随着自主车辆能力不断增强,对汽车AI系统机读辅助系统的先进和实用质量保证方法的需求更大。使用模拟原型平台为早期测试提供了可能性,使低廉的测试成为可能,并能够捕捉关键的转角试验情景。模拟测试适当地补充了常规的公路测试。然而,由于这些系统的测试输入参数空间巨大,有效生成有效测试情景,导致失败揭幕是一项挑战。本文件介绍了对SVL模拟器中Baidu Amorlo自动驾驶平台的行人探测和紧急制动测试系统进行测试的研究。我们提议了一种进化自动测试生成技术,为SVL环境中的阿波罗制造故障-再现情景。我们的方法模拟了使用通用和灵活数据结构的投入空间,并有利于一个多标准的安全基点用于优化目标功能。本文件介绍了2021年IEEEE自动驾驶AI测试挑战中我们拟议的随机生成生成测试技术的结果。为了展示我们在SVLVL环境中生成的更高效和有效性,我们提出的自动自动自动生成测试技术生成技术的测试技术,我们还提供了在生成更低级的测试案例之间产生的测试结果。我们在生成方法的随机的测试中提供了一种更精确的测试案例。

0
下载
关闭预览

相关内容

基于深度学习的行人检测方法综述
专知会员服务
68+阅读 · 2021年4月14日
最新《自监督表示学习》报告,70页ppt
专知会员服务
85+阅读 · 2020年12月22日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
77+阅读 · 2020年7月26日
商业数据分析,39页ppt
专知会员服务
160+阅读 · 2020年6月2日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
机器人开发库软件大列表
专知
10+阅读 · 2018年3月18日
carla无人驾驶模拟中文项目 carla_simulator_Chinese
CreateAMind
3+阅读 · 2018年1月30日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
【推荐】树莓派/OpenCV/dlib人脸定位/瞌睡检测
机器学习研究会
9+阅读 · 2017年10月24日
Arxiv
0+阅读 · 2021年11月8日
Arxiv
0+阅读 · 2021年11月3日
VIP会员
相关VIP内容
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
机器人开发库软件大列表
专知
10+阅读 · 2018年3月18日
carla无人驾驶模拟中文项目 carla_simulator_Chinese
CreateAMind
3+阅读 · 2018年1月30日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
【推荐】树莓派/OpenCV/dlib人脸定位/瞌睡检测
机器学习研究会
9+阅读 · 2017年10月24日
Top
微信扫码咨询专知VIP会员