2017年11月24日,中国智能车未来挑战赛复杂环境认知水平能力离线测试在常熟成功举办,13个参赛队伍分别从“车道线检测”、“交通信号检测”、“前方车辆检测”、“车道保持状态监测”、“前方车辆距离监测”五个方面对无人驾驶系统的视觉感知能力进行测试。
近几年来,由于人工智能算法的进步,无人驾驶技术变得越来越完善,但其安全性和可靠性仍需要通过海量的测试来保证。在真车上做测试成本高昂且不安全,通过建立一个无人驾驶模拟平台,无需上路即可在虚拟环境中完成对无人车的性能测试,同时达到机器学习的目的,逐渐成为各大高校、科研机构以及车企的更佳选择。无人车的离线测试正变得越来越重要,甚至有发展成为无人车标配的趋势。
2016年中国智能车未来挑战赛(IVFC)首次引入了对无人车的认知能力离线测试,得到了参赛选手们的一致好评。复杂交通环境认知基础能力离线测试使用现实道路采集的交通场景视频,评估无人驾驶环境视觉感知算法在道路、光照、车辆运动等复杂变化的道路交通环境中的认知能力。这使得一些没有真车、只专注软件开发的无人驾驶技术研究者们也可以参与到IVFC比赛中来。
今年的中国智能车未来挑战赛上仍设有真实综合道路环境测试(含城市道路、城郊道路及高速公路)和复杂环境认知水平能力离线测试两部分。离线测试是在大规模真实道路交通场景数据库的基础上,通过仿真环境评估无人驾驶车辆各类交通环境感知算法的基本认知能力和水平。本届比赛由国家自然科学基金委员会和常熟市政府共建的“中国智能车综合技术研发与测试中心”提供支持。测试数据来自西安交通大学人工智能与机器人研究所提供的交通场景数据库TSD-max。
复杂交通环境认知基础能力离线测试比赛
专家们召开赛前会议
复杂交通场景认知基础能力离线测试比赛包含五大任务,分别是:前方车辆检测、车道线检测、前方车辆距离监测、车道保持状态监测与交通信号检测,从准确性和适应性方面对复杂交通环境认知的基础能力进行评测。每个任务有100组数据,每个参赛队伍随机从中抽取多组形成数据合集,包括:交通信号检测50组数据,每组平均20帧;车道线 30组数据,每组平均67帧;测距40组数据,每组平均78帧;车道保持40组数据,每组平均50帧;前方车辆 40组数据,每组平均70帧,以确保每支队伍遇到的场景都是随机的。每项测试开始前,将环境数据拷入车队自带的电脑中,编写启动代码修改路径后,计算机开始运算。一旦计算机开始运行,将不允许做任何修改。
裁判长宣布赛制
队员们仔细聆听
代码抽签
随机抽取的数据库
队员们操作计算机
观察计算机运算情况
每个测试结束之后,都会自动生成一个文件,裁判把数据拷出后,送到离线测试评分处,计算最终成绩。打分标准主要看的指标有:正检数(识别正确)、误检数(识别错误)以及漏检数(未识别)。最终计算准确度Precision(正检数/检测总数)和召回率Recall(正检数/标注真值数)的调和平均值F1-measure作为总分。
每项测试结束后,队员们可以通过视频逐帧检查自己的程序测试结果。
赛后队员观看检测结果
五项测试依次进行:
一、车道线检测
车道线检测要求无人车在不同交通场景视频中识别常见的车道线的位置并识别其线型。在真实交通场景中,车道线的线型主要有黄实线,黄虚线,白实线,白虚线四种。队员们从抽签得到的视频数据中,利用预先编好的算法检测出车道线的类型和位置。
二、交通信号检测
交通信号测试要求无人驾驶系统检测出不同交通场景视频中常见交通标志和信号灯的位置并识别其类型。
三、前方车辆检测
前方车辆检测任务要求无人车检测不同交通场景视频中的前方车辆,不区分车辆类型。
四、车道保持状态检测
车道保持状态监测要求无人驾驶系统基于给定交通场景视频,对测试车辆在行驶中的车道保持状态进行持续监测。
五、前方车辆距离监测
前方车辆距离监测基于给定交通场景视频,对与安全通行相关的多辆前方车辆的距离进行持续监测。
成绩公布及颁奖环节
经过一天紧张激烈的角逐,五项测试分别决出一二三等奖。车道线检测第一名为国防科技大学智能科学学院的iFuture队,第二名为南京理工大学PCALab,第三名同济大学途灵“TiEV”车队;交通信号检测第一名厦门大学和西安交通大学组成的仙厦Smart队,第二名为南京理工大学PCALab队,第三名为中科院自动化研究所的中科车智队;前方车辆检测第一名中科车智队,第二名上海交通大学Cyber Tiggo队,第三名国防科技大学智能科学学院iFuture队;车道保持状态监测第一名iFuture队,第二名PCALab队,第三名北京联合大学与苏州天瞳威视电子科技有限公司组成的京龙一号队;前方车辆距离监测第一名中科车智,第二名京龙一号,第三名PCALab。
郑南宁院士作为复杂交通环境认知基础能力离线测试的颁奖嘉宾对本届赛事进行了总结,他表示,离线测试是对国家自然科学基金委员会重大研究计划“视听觉信息认知计算”项目进行检验的载体,同时通过这种在真实环境数据下的虚拟测试,以一种可编程的手段科学游戏的方式,可以更好地激发年轻人对无人驾驶的研究兴趣。只有越来越多的人参与到研发中来,才能早日实现完全无人驾驶。