Robotic vision plays a key role for perceiving the environment in grasping applications. However, the conventional framed-based robotic vision, suffering from motion blur and low sampling rate, may not meet the automation needs of evolving industrial requirements. This paper, for the first time, proposes an event-based robotic grasping framework for multiple known and unknown objects in a cluttered scene. Compared with standard frame-based vision, neuromorphic vision has advantages of microsecond-level sampling rate and no motion blur. Building on that, the model-based and model-free approaches are developed for known and unknown objects' grasping respectively. For the model-based approach, event-based multi-view approach is used to localize the objects in the scene, and then point cloud processing allows for the clustering and registering of objects. Differently, the proposed model-free approach utilizes the developed event-based object segmentation, visual servoing and grasp planning to localize, align to, and grasp the targeting object. The proposed approaches are experimentally validated with objects of different sizes, using a UR10 robot with an eye-in-hand neuromorphic camera and a Barrett hand gripper. Moreover, the robustness of the two proposed event-based grasping approaches are validated in a low-light environment. This low-light operating ability shows a great advantage over the grasping using the standard frame-based vision. Furthermore, the developed model-free approach demonstrates the advantage of dealing with unknown object without prior knowledge compared to the proposed model-based approach.


翻译:机器人的视觉在捕捉应用中对环境的感知中发挥着关键作用。然而,传统的基于框架的机器人视觉,由于运动模糊和取样率低,可能无法满足不断演变的工业要求的自动化需要。本文首次提议在一片混乱的场景中为多种已知和未知天体建立一个基于事件的机器人捕捉框架。与标准的基于框架的视觉相比,神经形态的视觉具有微观二级采样率的优势,没有运动模糊。在此基础上,基于模型和无模型的机器人视觉方法分别针对已知和未知天体的掌握而开发。对于基于模型的方法,采用基于事件的多视方法将现场的物体本地化,然后使用基于事件多视的多视方法,然后点云处理允许对物体进行集群和登记。不同的是,拟议的无模型方式采用基于事件的本地化、与目标对象相匹配和理解。拟议的基于模型的模型的方法是用不同大小的物体进行实验性验证,同时使用基于双眼的基于神经形态的机器人,采用基于事件的多视的多视多视多视方法,然后用点云处理方法,然后又进行点云色处理,然后进行点处理,然后又用一种较稳健健健的视觉操作法。

0
下载
关闭预览

相关内容

专知会员服务
88+阅读 · 2021年6月29日
专知会员服务
31+阅读 · 2021年6月12日
【CVPR2021】动态度量学习
专知会员服务
39+阅读 · 2021年3月30日
【Manning新书】现代Java实战,592页pdf
专知会员服务
99+阅读 · 2020年5月22日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
聊聊RTA(Realtime API)
AINLP
28+阅读 · 2020年6月5日
ICRA 2019 论文速览 | 基于Deep Learning 的SLAM
计算机视觉life
41+阅读 · 2019年7月22日
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Facebook PyText 在 Github 上开源了
AINLP
7+阅读 · 2018年12月14日
【推荐】用Python/OpenCV实现增强现实
机器学习研究会
15+阅读 · 2017年11月16日
VIP会员
相关资讯
聊聊RTA(Realtime API)
AINLP
28+阅读 · 2020年6月5日
ICRA 2019 论文速览 | 基于Deep Learning 的SLAM
计算机视觉life
41+阅读 · 2019年7月22日
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Facebook PyText 在 Github 上开源了
AINLP
7+阅读 · 2018年12月14日
【推荐】用Python/OpenCV实现增强现实
机器学习研究会
15+阅读 · 2017年11月16日
Top
微信扫码咨询专知VIP会员