In recent times, object detection and pose estimation have gained significant attention in the context of robotic vision applications. Both the identification of objects of interest as well as the estimation of their pose remain important capabilities in order for robots to provide effective assistance for numerous robotic applications ranging from household tasks to industrial manipulation. This problem is particularly challenging because of the heterogeneity of objects having different and potentially complex shapes, and the difficulties arising due to background clutter and partial occlusions between objects. As the main contribution of this work, we propose a system that performs real-time object detection and pose estimation, for the purpose of dynamic robot grasping. The robot has been pre-trained to perform a small set of canonical grasps from a few fixed poses for each object. When presented with an unknown object in an arbitrary pose, the proposed approach allows the robot to detect the object identity and its actual pose, and then adapt a canonical grasp in order to be used with the new pose. For training, the system defines a canonical grasp by capturing the relative pose of an object with respect to the gripper attached to the robot's wrist. During testing, once a new pose is detected, a canonical grasp for the object is identified and then dynamically adapted by adjusting the robot arm's joint angles, so that the gripper can grasp the object in its new pose. We conducted experiments using a humanoid PR2 robot and showed that the proposed framework can detect well-textured objects, and provide accurate pose estimation in the presence of tolerable amounts of out-of-plane rotation. The performance is also illustrated by the robot successfully grasping objects from a wide range of arbitrary poses.


翻译:近些年来,物体的探测和估计在机器人视觉应用方面引起了极大关注。无论是查明感兴趣的对象,还是估计其形状,都仍然是重要的能力,以使机器人能够有效地协助从家用任务到工业操纵等许多机器人应用。由于形状不同且可能复杂的物体的种类繁多,以及由于不同和潜在复杂的物体之间背景混杂和部分隔绝而产生的困难,这一问题特别具有挑战性。作为这项工作的主要贡献,我们建议建立一个系统,为掌握动态机器人的物体的目的,进行实时物体的探测和估计。机器人经过预先训练,能够从每个物体的少数固定姿势中进行一小套卡通的握紧装置。如果以一个未知的物体任意姿势展示,则拟议办法使机器人能够探测物体的身份及其实际姿势,然后调整一个卡通的掌握。为了培训,系统可以通过获取与与机器人手持物体有关的相对的汇率估计来定义一个可理解性能。在测试期间,通过对机器人手持物体的手势进行自动定位,可以成功地显示其直径,在测试期间,将新手势的动作显示一个新的手势,然后用新的手势显示新的手势,然后显示新的手势,然后显示新的手势的手势。在机的机的伸伸缩可以显示新的手势,然后显示新的手势,然后显示新的手势,然后显示新的手势的机的伸的伸缩。

0
下载
关闭预览

相关内容

如何构建你的推荐系统?这份21页ppt教程为你讲解
专知会员服务
64+阅读 · 2021年2月12日
剑桥大学《数据科学: 原理与实践》课程,附PPT下载
专知会员服务
49+阅读 · 2021年1月20日
【2020新书】3D建模初学者指南,190页pdf
专知会员服务
31+阅读 · 2020年9月15日
数据科学导论,54页ppt,Introduction to Data Science
专知会员服务
41+阅读 · 2020年7月27日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
【泡泡前沿追踪】跟踪SLAM前沿动态系列之IROS2018
泡泡机器人SLAM
29+阅读 · 2018年10月28日
IEEE2018|An Accurate and Real-time 3D Tracking System for Robots
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Arxiv
0+阅读 · 2021年3月15日
DPOD: Dense 6D Pose Object Detector in RGB images
Arxiv
5+阅读 · 2019年2月28日
Joint Monocular 3D Vehicle Detection and Tracking
Arxiv
8+阅读 · 2018年12月2日
VIP会员
Top
微信扫码咨询专知VIP会员