Humans build 3D understandings of the world through active object exploration, using jointly their senses of vision and touch. However, in 3D shape reconstruction, most recent progress has relied on static datasets of limited sensory data such as RGB images, depth maps or haptic readings, leaving the active exploration of the shape largely unexplored. Inactive touch sensing for 3D reconstruction, the goal is to actively select the tactile readings that maximize the improvement in shape reconstruction accuracy. However, the development of deep learning-based active touch models is largely limited by the lack of frameworks for shape exploration. In this paper, we focus on this problem and introduce a system composed of: 1) a haptic simulator leveraging high spatial resolution vision-based tactile sensors for active touching of 3D objects; 2)a mesh-based 3D shape reconstruction model that relies on tactile or visuotactile signals; and 3) a set of data-driven solutions with either tactile or visuotactile priors to guide the shape exploration. Our framework enables the development of the first fully data-driven solutions to active touch on top of learned models for object understanding. Our experiments show the benefits of such solutions in the task of 3D shape understanding where our models consistently outperform natural baselines. We provide our framework as a tool to foster future research in this direction.


翻译:人类通过积极的物体探索,利用他们的视觉感知和触摸感,构建了对世界的3D理解。然而,在3D形状的重建中,最近的进展依赖于诸如 RGB 图像、深度地图或偶然读数等有限感官数据的静态数据集,使得对形状的积极探索基本上没有被探索。3D重建的非主动触摸感测,目标是积极选择在形状重建精度方面实现最大改进的触觉读数。然而,由于缺乏形状勘探的框架,开发基于深学习的积极触摸模型在很大程度上受到限制。在本文中,我们集中关注这一问题,并引入了一个系统,包括:1)利用基于高空间分辨率的视觉感官传感器来积极触摸3D对象的随机模拟器;2)基于3D的3D形状重建模型,该模型依赖于触摸或粘贴信号;3)一套以数据驱动为驱动的解决方案,该模型既能触摸,又能引导形状勘探。我们的框架使第一个完整的数据驱动解决方案得以开发,并引入一个系统模拟模拟的模拟,从而从我们所学的顶层的模型上展示了我们所了解的自然模型。

0
下载
关闭预览

相关内容

开源书:PyTorch深度学习起步
专知会员服务
50+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
【泡泡一分钟】基于表面的自主三维建模探索
泡泡机器人SLAM
9+阅读 · 2019年9月10日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
(Python)3D人脸处理工具Face3d
AI研习社
7+阅读 · 2019年2月10日
【泡泡一分钟】LIMO:激光和单目相机融合的视觉里程计
泡泡机器人SLAM
11+阅读 · 2019年1月16日
TCN v2 + 3Dconv 运动信息
CreateAMind
4+阅读 · 2019年1月8日
计算机类 | ISCC 2019等国际会议信息9条
Call4Papers
5+阅读 · 2018年12月25日
【泡泡点云时空】PU-Net:点云上采样网络(CVPR2018-6)
泡泡机器人SLAM
6+阅读 · 2018年8月16日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
VIP会员
相关VIP内容
开源书:PyTorch深度学习起步
专知会员服务
50+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
相关资讯
【泡泡一分钟】基于表面的自主三维建模探索
泡泡机器人SLAM
9+阅读 · 2019年9月10日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
(Python)3D人脸处理工具Face3d
AI研习社
7+阅读 · 2019年2月10日
【泡泡一分钟】LIMO:激光和单目相机融合的视觉里程计
泡泡机器人SLAM
11+阅读 · 2019年1月16日
TCN v2 + 3Dconv 运动信息
CreateAMind
4+阅读 · 2019年1月8日
计算机类 | ISCC 2019等国际会议信息9条
Call4Papers
5+阅读 · 2018年12月25日
【泡泡点云时空】PU-Net:点云上采样网络(CVPR2018-6)
泡泡机器人SLAM
6+阅读 · 2018年8月16日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Top
微信扫码咨询专知VIP会员