Among prerequisites for a synthetic agent to interact with dynamic scenes, the ability to identify independently moving objects is specifically important. From an application perspective, nevertheless, standard cameras may deteriorate remarkably under aggressive motion and challenging illumination conditions. In contrast, event-based cameras, as a category of novel biologically inspired sensors, deliver advantages to deal with these challenges. Its rapid response and asynchronous nature enables it to capture visual stimuli at exactly the same rate of the scene dynamics. In this paper, we present a cascaded two-level multi-model fitting method for identifying independently moving objects (i.e., the motion segmentation problem) with a monocular event camera. The first level leverages tracking of event features and solves the feature clustering problem under a progressive multi-model fitting scheme. Initialized with the resulting motion model instances, the second level further addresses the event clustering problem using a spatio-temporal graph-cut method. This combination leads to efficient and accurate event-wise motion segmentation that cannot be achieved by any of them alone. Experiments demonstrate the effectiveness and versatility of our method in real-world scenes with different motion patterns and an unknown number of independently moving objects.


翻译:合成物剂与动态场景互动的先决条件之一,独立移动物体的识别能力是特别重要的。然而,从应用角度来说,标准相机在攻击性运动和具有挑战性的照明条件下可能会显著恶化。相反,以事件为基础的摄像机作为新型生物激励传感器的类别,为应对这些挑战提供了优势。其迅速反应和无同步性质使其能够以与场景动态完全相同的速度捕捉到视觉刺激。在本文中,我们用单体事件相机提出一个级联的双级多模型安装方法,用于识别独立移动物体(即运动分割问题)。第一级是利用事件特征的跟踪,并在渐进式多模型安装计划下解决特征组合问题。根据由此产生的运动模型实例,第二级是进一步解决事件集成问题,采用波形-时点图形切割法。这种组合可以产生一种高效和准确的事件错位分解方法,仅靠其中任何一种方式是无法实现的。实验显示我们方法在现实世界场景中的有效性和多变性,以不同的运动模式和未知的单独移动物体数目。

0
下载
关闭预览

相关内容

Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
动物脑的好奇心和强化学习的好奇心
CreateAMind
10+阅读 · 2019年1月26日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
UPSNet: A Unified Panoptic Segmentation Network
Arxiv
4+阅读 · 2019年1月12日
Arxiv
3+阅读 · 2018年3月5日
Arxiv
7+阅读 · 2017年12月26日
VIP会员
相关VIP内容
Top
微信扫码咨询专知VIP会员