Pick-and-place is an important manipulation task in domestic or manufacturing applications. There exist many works focusing on grasp detection with high picking success rate but lacking consideration of downstream manipulation tasks (e.g., placing). Although some research works proposed methods to incorporate task conditions into grasp selection, most of them are data-driven and are therefore hard to adapt to arbitrary operating environments. Observing this challenge, we propose a general task-oriented pick-place framework that treats the target task and operating environment as placing constraints into grasping optimization. Combined with existing grasp detectors, our framework is able to generate feasible grasps for different downstream tasks and adapt to environmental changes without time-consuming re-training processes. Moreover, the framework can accept different definitions of placing constraints, so it is easy to integrate with other modules. Experiments in the simulator and real-world on multiple pick-place tasks are conducted to evaluate the performance of our framework. The result shows that our framework achieves a high and robust task success rate on a wide variety of the pick-place tasks.


翻译:取放任务是日常或制造应用中重要的操作任务。已有许多针对高取物成功率的抓握检测的研究,但缺少对下游操作任务(例如放置)的考虑。虽然一些研究提出了将任务条件纳入抓握选择的方法,但大多数方法是基于数据驱动的,因此难以适应任意操作环境。为应对这一挑战,我们提出了一个将目标任务和操作环境视为放置约束的通用任务导向取放框架,将其作为抓握优化的一部分。结合现有的抓握检测器,我们的框架能够生成不同下游任务的可行抓握,且能够适应环境变化而无需耗费时间进行重新训练。此外,框架可以接受不同的放置约束定义,因此易于与其他模块集成。在模拟器和真实世界上进行了多种拾取放置任务的实验,以评估我们的框架的性能。结果表明,我们的框架在广泛的取物放置任务中实现了高且稳健的任务成功率。

0
下载
关闭预览

相关内容

KDD 2022 | MolSearch: 基于搜索的多目标分子生成和性质优化
IJCAI 2022 | 使用陈述句进行视觉问答的Prompt Tuning
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
机器人操作的“圣杯问题” -- Bin Picking
机器人学家
14+阅读 · 2018年8月2日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Reasoning on Knowledge Graphs with Debate Dynamics
Arxiv
14+阅读 · 2020年1月2日
VIP会员
相关VIP内容
KDD 2022 | MolSearch: 基于搜索的多目标分子生成和性质优化
相关资讯
IJCAI 2022 | 使用陈述句进行视觉问答的Prompt Tuning
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
机器人操作的“圣杯问题” -- Bin Picking
机器人学家
14+阅读 · 2018年8月2日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员