Predicting vulnerable road user behavior is an essential prerequisite for deploying Automated Driving Systems (ADS) in the real-world. Pedestrian crossing intention should be recognized in real-time, especially for urban driving. Recent works have shown the potential of using vision-based deep neural network models for this task. However, these models are not robust and certain issues still need to be resolved. First, the global spatio-temproal context that accounts for the interaction between the target pedestrian and the scene has not been properly utilized. Second, the optimum strategy for fusing different sensor data has not been thoroughly investigated. This work addresses the above limitations by introducing a novel neural network architecture to fuse inherently different spatio-temporal features for pedestrian crossing intention prediction. We fuse different phenomena such as sequences of RGB imagery, semantic segmentation masks, and ego-vehicle speed in an optimum way using attention mechanisms and a stack of recurrent neural networks. The optimum architecture was obtained through exhaustive ablation and comparison studies. Extensive comparative experiments on the JAAD pedestrian action prediction benchmark demonstrate the effectiveness of the proposed method, where state-of-the-art performance was achieved. Our code is open-source and publicly available.


翻译:在现实世界中部署自动驾驶系统(ADS)的基本先决条件是,预测道路使用者的脆弱行为是真实世界中部署自动驾驶系统(ADS)的基本先决条件。应当实时地承认Pedestrian过境点的意图,特别是城市驾驶。最近的工作表明,有可能为此任务使用基于视觉的深神经网络模型。然而,这些模型并不健全,某些问题仍需要解决。首先,用于目标行人和场景之间相互作用的全球脉冲-脉冲-脉冲-脉冲-脉冲-脉冲-脉冲-脉冲-脉冲-脉冲-行人/行人/行人/行人/行人/行人/行人/行人/行人/行人/行人/行人/行人/行人/行人/行人/行人/行人/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车///行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行/行/行车/行车/行车/行车/行车/行/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行车/行

0
下载
关闭预览

相关内容

神经网络(Neural Networks)是世界上三个最古老的神经建模学会的档案期刊:国际神经网络学会(INNS)、欧洲神经网络学会(ENNS)和日本神经网络学会(JNNS)。神经网络提供了一个论坛,以发展和培育一个国际社会的学者和实践者感兴趣的所有方面的神经网络和相关方法的计算智能。神经网络欢迎高质量论文的提交,有助于全面的神经网络研究,从行为和大脑建模,学习算法,通过数学和计算分析,系统的工程和技术应用,大量使用神经网络的概念和技术。这一独特而广泛的范围促进了生物和技术研究之间的思想交流,并有助于促进对生物启发的计算智能感兴趣的跨学科社区的发展。因此,神经网络编委会代表的专家领域包括心理学,神经生物学,计算机科学,工程,数学,物理。该杂志发表文章、信件和评论以及给编辑的信件、社论、时事、软件调查和专利信息。文章发表在五个部分之一:认知科学,神经科学,学习系统,数学和计算分析、工程和应用。 官网地址:http://dblp.uni-trier.de/db/journals/nn/
知识图谱推理,50页ppt,Salesforce首席科学家Richard Socher
专知会员服务
105+阅读 · 2020年6月10日
专知会员服务
109+阅读 · 2020年3月12日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
CCF推荐 | 国际会议信息10条
Call4Papers
7+阅读 · 2019年5月27日
LibRec 精选:位置感知的长序列会话推荐
LibRec智能推荐
3+阅读 · 2019年5月17日
LibRec 精选:如何评估交互式推荐系统?
LibRec智能推荐
8+阅读 · 2019年5月5日
LibRec 精选:近期15篇推荐系统论文
LibRec智能推荐
5+阅读 · 2019年3月5日
Facebook PyText 在 Github 上开源了
AINLP
7+阅读 · 2018年12月14日
LibRec 精选:推荐系统的论文与源码
LibRec智能推荐
14+阅读 · 2018年11月29日
VIP会员
相关VIP内容
知识图谱推理,50页ppt,Salesforce首席科学家Richard Socher
专知会员服务
105+阅读 · 2020年6月10日
专知会员服务
109+阅读 · 2020年3月12日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
Top
微信扫码咨询专知VIP会员