Recovering point clouds involves the sequential process of sampling and restoration, yet existing methods struggle to effectively leverage both topological and geometric attributes. To address this, we propose an end-to-end architecture named \textbf{TopGeoFormer}, which maintains these critical properties throughout the sampling and restoration phases. First, we revisit traditional feature extraction techniques to yield topological embedding using a continuous mapping of relative relationships between neighboring points, and integrate it in both phases for preserving the structure of the original space. Second, we propose the \textbf{InterTwining Attention} to fully merge topological and geometric embeddings, which queries shape with local awareness in both phases to form a learnable 3D shape context facilitated with point-wise, point-shape-wise, and intra-shape features. Third, we introduce a full geometry loss and a topological constraint loss to optimize the embeddings in both Euclidean and topological spaces. The geometry loss uses inconsistent matching between coarse-to-fine generations and targets for reconstructing better geometric details, and the constraint loss limits embedding variances for better approximation of the topological space. In experiments, we comprehensively analyze the circumstances using the conventional and learning-based sampling/upsampling/recovery algorithms. The quantitative and qualitative results demonstrate that our method significantly outperforms existing sampling and recovery methods.


翻译:点云恢复涉及采样与恢复的序列过程,然而现有方法难以有效利用拓扑与几何双重属性。为此,我们提出一种名为 \textbf{TopGeoFormer} 的端到端架构,该架构在采样与恢复阶段全程保持这些关键特性。首先,我们重新审视传统特征提取技术,通过邻域点间相对关系的连续映射生成拓扑嵌入,并将其集成于两个阶段以保持原始空间的结构。其次,我们提出 \textbf{InterTwining Attention} 机制,将拓扑嵌入与几何嵌入充分融合,该机制通过两个阶段中具备局部感知的形状查询,形成由点级特征、点-形状级特征及形状内部特征构成的可学习三维形状上下文。再次,我们引入完整几何损失与拓扑约束损失,分别在欧氏空间与拓扑空间中对嵌入进行优化。几何损失利用从粗到细的生成结果与目标之间的非一致匹配来重建更优的几何细节,而约束损失则通过限制嵌入方差以更好地逼近拓扑空间。实验中,我们综合分析了传统方法与基于学习的采样/上采样/恢复算法的应用场景。定量与定性结果表明,我们的方法显著优于现有采样与恢复方法。

0
下载
关闭预览

相关内容

【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
23+阅读 · 2023年5月10日
CVPR 2022 | 点云分割的对比边界学习
专知会员服务
16+阅读 · 2022年4月30日
专知会员服务
12+阅读 · 2021年6月20日
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
语义分割中的深度学习方法全解:从FCN、SegNet到DeepLab
炼数成金订阅号
26+阅读 · 2017年7月10日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
语义分割中的深度学习方法全解:从FCN、SegNet到DeepLab
炼数成金订阅号
26+阅读 · 2017年7月10日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员