Visual dynamic complexity is a ubiquitous, hidden attribute of the visual world that every dynamic vision system is faced with. However, it is implicit and intractable which has never been quantitatively described due to the difficulty in defending temporal features correlated to spatial image complexity. To fill this vacancy, we propose a novel bio-robotic approach to profile visual dynamic complexity which can be used as a new metric. Here we apply a state-of-the-art brain-inspired motion detection neural network model to explicitly profile such complexity associated with spatial-temporal frequency (SF-TF) of visual scene. This model is for the first time implemented in an autonomous micro-mobile robot which navigates freely in an arena with visual walls displaying moving sine-wave grating or cluttered natural scene. The neural dynamic response can make reasonable prediction on surrounding complexity since it can be mapped monotonically to varying SF-TF of visual scene. The experiments show this approach is flexible to different visual scenes for profiling the dynamic complexity. We also use this metric as a predictor to investigate the boundary of another collision detection visual system performing in changing environment with increasing dynamic complexity. This research demonstrates a new paradigm of using biologically plausible visual processing scheme to estimate dynamic complexity of visual scene from both spatial and temporal perspectives, which could be beneficial to predicting input complexity when evaluating dynamic vision systems.


翻译:视觉动态复杂度是每个动态视觉系统都面临的视觉世界的无处不在、隐藏的特征。 然而,这是隐含和棘手的隐含和棘手的特征, 从未被量化描述, 因为难以捍卫与空间图像复杂度相关的时空特征。 为了填补这一空缺, 我们提出一种新的生物调节方法来描述视觉动态复杂度, 可以用作一个新的度量。 我们在这里应用一个由大脑启发的大脑驱动的运动探测神经网络模型, 以明确描述与视觉场景的空间时空频率( SF-TF) 相关的复杂度。 这个模型是首次在一个自主的微型移动机器人中实施的。 该机器人在舞台上自由运行, 视觉墙显示的是正移动的同步波纹或断裂的自然场景。 神经动态动态反应可以对周围的复杂度做出合理的预测, 因为它可以与不同的视觉场景的SF-TF- TF组合进行单调。 实验显示这个方法对于不同的视觉场景可以灵活度来描述动态复杂度。 我们还使用这个指标作为一个新的预测器, 来调查另一个碰撞探测器的边界探测器的边界界限, 在变化环境中进行着动变的视觉复杂度评估, 这个视觉变幻变变变变的图像的模型可能是。

0
下载
关闭预览

相关内容

专知会员服务
31+阅读 · 2021年6月12日
【干货书】机器人元素Elements of Robotics ,311页pdf
专知会员服务
34+阅读 · 2021年4月16日
专知会员服务
60+阅读 · 2020年3月19日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
计算机 | 入门级EI会议ICVRIS 2019诚邀稿件
Call4Papers
10+阅读 · 2019年6月24日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
TCN v2 + 3Dconv 运动信息
CreateAMind
4+阅读 · 2019年1月8日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Arxiv
0+阅读 · 2021年7月10日
Validation and Inference of Agent Based Models
Arxiv
0+阅读 · 2021年7月8日
VIP会员
Top
微信扫码咨询专知VIP会员