In this paper, we present GP3D, a novel network for generalized pose estimation in 3D point clouds. The method generalizes to new objects by using both the scene point cloud and the object point cloud with keypoint indexes as input. The network is trained to match the object keypoints to scene points. To address the pose estimation of novel objects we also present a new approach for training pose estimation. The typical solution is a single model trained for pose estimation of a specific object in any scenario. This has several drawbacks: training a model for each object is time-consuming, energy consuming, and by excluding the scenario information the task becomes more difficult. In this paper, we present the opposite solution; a scenario-specific pose estimation method for novel objects that do not require retraining. The network is trained on 1500 objects and is able to learn a generalized solution. We demonstrate that the network is able to correctly predict novel objects, and demonstrate the ability of the network to perform outside of the trained class. We believe that the demonstrated method is a valuable solution for many real-world scenarios. Code and trained network will be made available after publication.


翻译:本文提出了 GP3D, 一种用于三维点云中广义姿态估计的新型神经网络。该方法通过使用场景点云和物体点云及关键点编号作为输入来推广到新的对象。网络被训练以将物体关键点匹配到场景点。为了解决新对象的姿态估计问题,我们还提出了一种新的方法进行姿态估计的训练。典型方案是针对任何场景中特定对象的姿态估计训练单一模型。这样做有几个缺点: 为每个对象训练模型非常耗时、能源耗费大,且通过排除情景信息任务变得更加困难。在本文中,我们提出了相反的解决方案:针对新的对象的场景特定姿态估计方法,无需重新训练。该网络经过 1500 个物体的训练,能够学习到一种广义解决方案。我们证明了网络能够正确预测新的对象,并演示了网络在训练类之外执行任务的能力。我们相信,证明的方法对许多真实场景都是有价值的。代码和训练网络将在发布后提供。

0
下载
关闭预览

相关内容

八篇 ICCV 2019 【图神经网络(GNN)+CV】相关论文
专知会员服务
29+阅读 · 2020年1月10日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
【泡泡一分钟】DS-SLAM: 动态环境下的语义视觉SLAM
泡泡机器人SLAM
23+阅读 · 2019年1月18日
【泡泡一分钟】RoomNet:端到端房屋布局估计
泡泡机器人SLAM
18+阅读 · 2018年12月4日
【推荐】SLAM相关资源大列表
机器学习研究会
10+阅读 · 2017年8月18日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2010年12月31日
Arxiv
58+阅读 · 2021年11月15日
Arxiv
13+阅读 · 2019年1月26日
VIP会员
相关VIP内容
八篇 ICCV 2019 【图神经网络(GNN)+CV】相关论文
专知会员服务
29+阅读 · 2020年1月10日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2010年12月31日
Top
微信扫码咨询专知VIP会员