Recent interest in point cloud analysis has led rapid progress in designing deep learning methods for 3D models. However, state-of-the-art models are not robust to rotations, which remains an unknown prior to real applications and harms the model performance. In this work, we introduce a novel Patch-wise Rotation-invariant network (PaRot), which achieves rotation invariance via feature disentanglement and produces consistent predictions for samples with arbitrary rotations. Specifically, we design a siamese training module which disentangles rotation invariance and equivariance from patches defined over different scales, e.g., the local geometry and global shape, via a pair of rotations. However, our disentangled invariant feature loses the intrinsic pose information of each patch. To solve this problem, we propose a rotation-invariant geometric relation to restore the relative pose with equivariant information for patches defined over different scales. Utilising the pose information, we propose a hierarchical module which implements intra-scale and inter-scale feature aggregation for 3D shape learning. Moreover, we introduce a pose-aware feature propagation process with the rotation-invariant relative pose information embedded. Experiments show that our disentanglement module extracts high-quality rotation-robust features and the proposed lightweight model achieves competitive results in rotated 3D object classification and part segmentation tasks. Our project page is released at: https://patchrot.github.io/.


翻译:最近对点云分析的兴趣导致在设计3D模型的深层学习方法方面取得快速进展。然而,最先进的模型对轮换并不健全,而轮换在实际应用之前仍是一个未知之处,并且损害模型性能。在这项工作中,我们引入了一个新颖的Patch-witter旋转异变网络(PaRot),通过特征分解实现旋转变化,并对任意旋转的样本得出一致的预测。具体地说,我们设计了一个模拟培训模块,分解了不同尺度定义的补丁的竞争性旋转变异和等异性,例如,本地的几何和全球形状,这在实际应用和模型性能的交替之前仍然是未知的。然而,我们混杂的变异性特征会丢失了每个补缺的内在结构信息。为了解决这个问题,我们建议一个旋转异性地测量关系,用不同尺度定义的补缺信息来恢复相对的容。我们使用组合信息,我们提出一个等级化模块化的分类模块,我们提出一个等级模块,用来对3D形状的形状进行内部和跨级的相形变异性分类。我们引入了一个内部和跨性模型的旋转性模型的变化模型,我们演示性模型的模型,我们用高性模型的模型的模型的模型性模型性模型的变化模型,我们展示的变化模型,我们展示的变化模型的变异性变化模型的变化模型,我们展示的变化模型,我们用了一个结构化模型,我们用了一个等级化的变化模型的变化模型的变化模型的变化模型的变化模型的变化模型,我们用了一个等级化的变化的变化的变化模型的变制的变化模型的变化模型的变化模型的变化模型的变化的变化模型的变化模型的变化的变化的变化的变化的变化的变制的变化模型在3D的变化模型的变制的变制的变制的变制的变制的变制的变制的变制的变制的变制的变制的变制的变制的变制的变制的变制的变制的变制的变制的变制的变制的变制的变制的变制的变制的变制的变制的变制

0
下载
关闭预览

相关内容

《计算机信息》杂志发表高质量的论文,扩大了运筹学和计算的范围,寻求有关理论、方法、实验、系统和应用方面的原创研究论文、新颖的调查和教程论文,以及描述新的和有用的软件工具的论文。官网链接:https://pubsonline.informs.org/journal/ijoc
不可错过!《机器学习100讲》课程,UBC Mark Schmidt讲授
专知会员服务
73+阅读 · 2022年6月28日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
78+阅读 · 2020年7月26日
专知会员服务
60+阅读 · 2020年3月19日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2010年12月31日
On Feature Normalization and Data Augmentation
Arxiv
15+阅读 · 2020年2月25日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2010年12月31日
Top
微信扫码咨询专知VIP会员