Point clouds obtained from 3D sensors are usually sparse. Existing methods mainly focus on upsampling sparse point clouds in a supervised manner by using dense ground truth point clouds. In this paper, we propose a self-supervised point cloud upsampling network (SSPU-Net) to generate dense point clouds without using ground truth. To achieve this, we exploit the consistency between the input sparse point cloud and generated dense point cloud for the shapes and rendered images. Specifically, we first propose a neighbor expansion unit (NEU) to upsample the sparse point clouds, where the local geometric structures of the sparse point clouds are exploited to learn weights for point interpolation. Then, we develop a differentiable point cloud rendering unit (DRU) as an end-to-end module in our network to render the point cloud into multi-view images. Finally, we formulate a shape-consistent loss and an image-consistent loss to train the network so that the shapes of the sparse and dense point clouds are as consistent as possible. Extensive results on the CAD and scanned datasets demonstrate that our method can achieve impressive results in a self-supervised manner. Code is available at https://github.com/fpthink/SSPU-Net.


翻译:从 3D 传感器获取的点云通常很少。 现有方法主要侧重于通过使用密集的地面真象点云来以监督的方式对稀有点云进行取样。 在本文中, 我们提议建立一个自我监督的点云取样网络( SSPU- Net), 以便在不使用地面真象的情况下生成密度点云。 为此, 我们利用输入的点云之间的一致性, 并为形状和图像生成生成密度点云。 具体地说, 我们首先提议建立一个邻居扩大单位( NEU) 来对稀有点云进行取样, 以便利用稀有点云的本地几何结构来学习点内插的重量。 然后, 我们开发了一个不同的点云传输单位( DRU ), 作为我们网络中的端对端模块, 将点云变成多视图图像。 最后, 我们设计了一个形状相容损失和图像相容的损失来训练网络, 以使稀薄和稠密的云的形状尽可能一致。 CADAD和扫描数据集的广泛结果显示, 我们的方法可以实现令人印象深刻的自我/ CD/ 。

0
下载
关闭预览

相关内容

根据激光测量原理得到的点云,包括三维坐标(XYZ)和激光反射强度(Intensity)。 根据摄影测量原理得到的点云,包括三维坐标(XYZ)和颜色信息(RGB)。 结合激光测量和摄影测量原理得到点云,包括三维坐标(XYZ)、激光反射强度(Intensity)和颜色信息(RGB)。 在获取物体表面每个采样点的空间坐标后,得到的是一个点的集合,称之为“点云”(Point Cloud)
专知会员服务
27+阅读 · 2021年8月2日
专知会员服务
31+阅读 · 2021年6月12日
专知会员服务
22+阅读 · 2021年4月10日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
Python图像处理,366页pdf,Image Operators Image Processing in Python
专知会员服务
60+阅读 · 2020年3月19日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
专知会员服务
109+阅读 · 2020年3月12日
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
已删除
将门创投
4+阅读 · 2018年6月26日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Arxiv
9+阅读 · 2021年4月8日
Arxiv
23+阅读 · 2021年3月4日
Pointer Graph Networks
Arxiv
7+阅读 · 2020年6月11日
Arxiv
4+阅读 · 2017年1月2日
VIP会员
相关VIP内容
专知会员服务
27+阅读 · 2021年8月2日
专知会员服务
31+阅读 · 2021年6月12日
专知会员服务
22+阅读 · 2021年4月10日
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
Python图像处理,366页pdf,Image Operators Image Processing in Python
专知会员服务
60+阅读 · 2020年3月19日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
专知会员服务
109+阅读 · 2020年3月12日
相关资讯
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
已删除
将门创投
4+阅读 · 2018年6月26日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
相关论文
Arxiv
9+阅读 · 2021年4月8日
Arxiv
23+阅读 · 2021年3月4日
Pointer Graph Networks
Arxiv
7+阅读 · 2020年6月11日
Arxiv
4+阅读 · 2017年1月2日
Top
微信扫码咨询专知VIP会员