Event-based cameras can overpass frame-based cameras limitations for important tasks such as high-speed motion detection during self-driving cars navigation in low illumination conditions. The event cameras' high temporal resolution and high dynamic range, allow them to work in fast motion and extreme light scenarios. However, conventional computer vision methods, such as Deep Neural Networks, are not well adapted to work with event data as they are asynchronous and discrete. Moreover, the traditional 2D-encoding representation methods for event data, sacrifice the time resolution. In this paper, we first improve the 2D-encoding representation by expanding it into three dimensions to better preserve the temporal distribution of the events. We then propose 3D-FlowNet, a novel network architecture that can process the 3D input representation and output optical flow estimations according to the new encoding methods. A self-supervised training strategy is adopted to compensate the lack of labeled datasets for the event-based camera. Finally, the proposed network is trained and evaluated with the Multi-Vehicle Stereo Event Camera (MVSEC) dataset. The results show that our 3D-FlowNet outperforms state-of-the-art approaches with less training epoch (30 compared to 100 of Spike-FlowNet).


翻译:以事件为基础的摄像头可以超越基于框架的摄像头限制,以完成重要任务,如在低光度条件下自行驾驶汽车导航时高速运动探测,活动相机的高度时间分辨率和动态范围高,使其能够在快速运动和极端光光线下工作,但是,传统的计算机视觉方法,如深神经网络,不能很好地适应与事件数据一起工作,因为它们不同步和离散。此外,传统的2D事件数据编码代表方法牺牲了时间分辨率。在本文件中,我们首先改进2D编码代表制,将其扩大为三个维度,以更好地保存事件的时间分布。我们然后提议3D-FlowNet,这是一个新的网络结构,可以按照新的编码方法处理3D输入代表制和输出光学流估计。采取了自我监督的培训战略,以弥补事件相机缺少标签数据集的情况。最后,拟议网络与多ViHicol Sterople Action相机(MVSECEC)的培训和评估,以更好地保存事件的时间分布。我们随后提议了一个3D-FlowNet的新网络结构,以100SK-FSK-Flock-Flest-frofrostal 比较了我们3-Sil-Flow-Sil-Flow-Fl-st-st-Silgy-st-Flock-stal-formest-formal-stal-stgy-st-st-forst-stalgy-d-st-stalgy-forgy-formal-stgy-stgy-d-dgal-d-d-d-d-d-d-d-d-d-d-st-d-d-d-d-st-st-st-d-st-d-dal-d-dal-dal-d-d-d-d-d-d-d-d-dal-dal-dal-dal-stal-dal-stal-stal-stal-stal-d-d-d-d-d-d-d-d-d-d-d-d-d-stal-d-d-d-d-d-stal-d-d-d-d-d-d-d-d-

0
下载
关闭预览

相关内容

专知会员服务
31+阅读 · 2021年6月12日
专知会员服务
60+阅读 · 2020年3月19日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
专知会员服务
109+阅读 · 2020年3月12日
AIART 2022 Call for Papers
CCF多媒体专委会
1+阅读 · 2022年2月13日
CVPR 2019 | 34篇 CVPR 2019 论文实现代码
AI科技评论
21+阅读 · 2019年6月23日
CVPR 2019 | 重磅!34篇 CVPR2019 论文实现代码
AI研习社
11+阅读 · 2019年6月21日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2022年4月20日
Arxiv
0+阅读 · 2022年4月19日
Arxiv
0+阅读 · 2022年4月18日
Arxiv
0+阅读 · 2022年4月14日
Arxiv
27+阅读 · 2020年12月24日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员